←RAG 系列RAG 02 · 情境 1 / 4

技术专题 · RAG 02 · Chunking资料到底应该怎么切?

柜台上的问题—
真实实验数据

选择情境

切换后从该情境的开头重新开始,已完成记录保留在这个浏览器里。

店员能看到的

本页概念

点击概念,查看中文・日本語・English 对照与解释。

文本切分查看详细
中文
文本切分
日本語
チャンク分割
English
Chunking

把文档分成检索单元。主体、条件与正文被拆散后,片段可能不足以支持回答。

切块重叠查看详细
中文
切块重叠
日本語
チャンク重複
English
Chunk overlap

相邻 chunk 故意保留一段共同内容,让切口附近的句子在两块里都能找到。它不增加知识库的内容,只让同一段文字在索引里多存一份;重叠越大,检索单位越多,Top-K 里出现近重复片段的机会也越大。

按结构切分查看详细
中文
按结构切分
日本語
構造に基づくチャンク分割
English
Structure-aware chunking

切分边界来自文档自身的结构 —— 标题、段落、一问一答、表格和它的注释 —— 而不是固定的 token 数。它不保证检索更准:词汇对不上时,切得再整齐也取不回来。

检索查看详细
中文
检索
日本語
検索
English
Retrieval

从资料集合中找回与问题相关的候选资料,之后仍需判断证据是否足够。

语义检索查看详细
中文
语义检索
日本語
意味検索
English
Semantic search

依据语义相关性找资料,能处理不同表述,但相似不等于事实相同。第八关结果为手写示例。

检索增强生成 RAG查看详细
中文
检索增强生成
日本語
検索拡張生成
English
Retrieval-augmented generation (RAG)

先检索相关资料,再把问题和资料交给模型生成回答。资料被找回不代表答案一定正确。