PVL AI
開啟選單

企業 RAG

不幻覺、可維運的企業 RAG

多數企業 RAG 試點不是死在檢索。它們死在三個月後——來源文件搬家了、沒有人負責索引,而答案依然流暢、只是悄悄地錯了。把 demo 跑起來是一個週末的事;讓它兩年後還是對的,才是真正的工程問題,而那首先是維運問題,其次才是模型問題。

五種失敗模式

  1. 01

    索引過期。來源變了,索引沒變。系統自信地引用一份上一季就被取代的文件。

  2. 02

    答案無法追溯。回答是對的,但沒人能說明為什麼,於是審核者不敢簽、稽核者不能收。

  3. 03

    術語漂移。同一個概念在各部門有三種叫法,檢索把證據拆散,每個答案只看到三分之一。

  4. 04

    沒有人負責。試點期有工程師,正式環境沒有任何人的工作是「顧知識庫」,品質衰退且無警報。

  5. 05

    切塊策略只調過一次。分段方式是照 demo 語料調的,文件型態改變後從未重新檢視。

證據鏈,以及為什麼它不是選配

證據鏈指的是:答案裡每一項斷言都綁定到一段可回溯的來源片段,綁不上的就拒答而不是抹平過去。這改變了系統被允許做的事——它可以說「檢索到的資料無法回答這個問題」,而一個預設要流暢的系統永遠不會這樣說。

實作起來一點也不華麗。每個切塊保留來源網址、標題、時間戳與位置;檢索回傳的是片段不只是文件;生成階段被要求逐項引用,輸出在送到使用者面前之前先對照檢索集合驗證。沒有支撐的主張被剝掉,剝掉太多就整則扣住不發。

回報是審核變成可能。領域專家檢查十個答案,等於檢查十份引用清單,幾分鐘的事。沒有證據鏈,驗證一個答案等於讀完整份語料,於是沒有人驗證任何東西,系統靠感覺被信任。

術語在檢索品質的上游

檢索品質的天花板,取決於語料和問題有沒有用同一個詞指同一件事。實務上並沒有:工程說一種、業務說另一種、主管機關說第三種,而海外買家用第四種語言搜尋。嵌入模型吸收得掉一部分,領域專屬的那部分吸收不掉。

解法是一份被維護的詞庫,而且它是系統的一部分,不是一份文件。標準詞、可接受的變體、跨語言對照、已廢棄的舊稱——版本化,並且在索引時與查詢時都套用。這是 RAG 系統裡最不時髦的元件,也一貫是對答案品質可量測效果最大的元件。

「可維運」的實際成本

把維運編成常設預算項目,不是意外準備金。來源會搬家,重爬頻率要綁在它變動的速度上,而不是一律每晚跑一次。詞庫需要有人負責、有審視節奏。答案品質需要抽樣——每期固定抽查一定數量的正式環境答案,對照證據鏈檢核,結果回饋到詞庫與切塊策略。

三者皆無的系統不會維持正確;它會無聲地衰退,那比大聲失敗更糟,因為問題是由客戶而不是儀表板發現的。如果一間組織無法承諾這些維運投入,誠實的建議是:做一套範圍更窄、語料更小也更少變動的系統,而不是一套注定會腐爛的大系統。

為什麼企業 RAG 拿到了正確文件還是會幻覺?

因為「檢索回傳了相關文件」不等於「答案有紮根在文件上」——沒有強制的證據鏈,模型就可以用看似合理的文字去填補檢索片段之間的空隙。解法是結構性的,不是換個更好的 prompt:要求每一項主張都帶引用,交不出引用的答案就拒答。

如果你手上已經有一個卡住的試點

一個當初讓所有人驚豔、後來悄悄沒人用的 RAG 試點,是可以診斷的,而且診斷結果通常就是上面五種失敗模式之一。告訴我們它在做什麼、在哪裡失去了信任。