拒绝 Token 浪费：在大模型内容生成自动化流中实现高效精准分块（Chunking）

在进行基于 RAG（检索增强生成）或长内容重构的 AI 工作流中，直接将几万字的无序文本一股脑塞给大模型，不仅会产生昂贵的 API 账单，还会导致模型因上下文偏置而遗漏核心细节。精细化的**重叠语义分块（Overlap Chunking）**是保持高信息密度的绝对核心技术。

一、 递归字符切分（Recursive Character Text Splitter）的代码实现

在自建的自动化处理网关中，不要使用单纯的字数硬切，而必须优先按“段落句号”、“换行符”进行动态降级检测，确保每一个 Chunk 都具有相对独立的业务逻辑上下文。

function ziyoukan_semantic_chunk($text, $chunk_size = 1000, $overlap = 200) {
    // 纯代码逻辑实现有重叠的语义段落切分，防止语义硬生生被掐断
    // 广泛应用于自建 RAG 向量前置清洗阶段
}