AI 檢索工程 · Retrieval / RAG / IR

Retrieval / RAG / IR

聚焦 chunking、embedding、檢索、重排與 grounding 等底層詞彙，對應 AI 怎麼把內容找出來、選進來、組成答案。

如果你想知道內容為什麼會被選進答案，這一組就是檢索、切塊與重排的底層語言。

你會在這裡學到 chunk、embedding、BM25、hybrid retrieval 與 reranking 怎麼串成真正的答案組裝流程。

先讀這幾頁

先搞懂這幾個，後面會順很多

內容分塊 Chunk · 把文件切成可被索引、檢索與組裝的內容單位。 向量嵌入 Embedding · 把文字、圖片或其他內容轉成可計算相似度的向量表示。 BM25 BM25 · 常見全文檢索排名模型，用來衡量查詢詞與文件的字面相關性。 混合檢索 Hybrid Retrieval · 把關鍵字檢索與向量檢索混合，以平衡精確匹配與語意召回。 重排序 Reranking · 對初步召回結果再做第二輪排序，以提高答案品質與相關性。

完整詞條

這個主題下的完整名詞

內容分塊 Chunk 把文件切成可被索引、檢索與組裝的內容單位。 分塊大小 Chunk Size 每個檢索內容塊預計保留的字數或 token 長度。 分塊重疊 Chunk Overlap 相鄰內容塊為保留上下文而重複保留的內容區段。 分塊策略 Chunking 決定文件怎麼被拆分、保留上下文與建立檢索單位的方法。 向量嵌入 Embedding 把文字、圖片或其他內容轉成可計算相似度的向量表示。 向量搜尋 Vector Search 依據向量相似度找出語意接近內容的檢索方式。 向量資料庫 Vector Store 用來儲存向量、metadata 與檢索索引的資料系統。 來源歸因 Source Attribution 把回答內容對應回原始來源頁面、段落或文件的機制。 近似最近鄰 Approximate Nearest Neighbor 用近似方式加速高維向量搜尋的演算法家族。 重排序 Reranking 對初步召回結果再做第二輪排序，以提高答案品質與相關性。 混合檢索 Hybrid Retrieval 把關鍵字檢索與向量檢索混合，以平衡精確匹配與語意召回。 稠密檢索 Dense Retrieval 透過 dense vectors 進行語意匹配的檢索方式。 語意檢索 Semantic Retrieval 依據內容語意而非只靠字面關鍵字的檢索方法。 餘弦相似度 Cosine Similarity 用向量夾角衡量兩段內容相似程度的常見指標。 BM25 BM25 常見全文檢索排名模型，用來衡量查詢詞與文件的字面相關性。 Grounding Grounding 讓模型回答建立在可驗證來源與檢索內容上的過程。 Metadata 過濾 Metadata Filtering 在檢索前或檢索中利用 metadata 條件縮小候選範圍。 Sparse Retrieval Sparse Retrieval 以詞項權重或稀疏向量為主的檢索方法。