Teverant AI · AI 應用趨勢

2026-09-28

AI客服機器人怎麼做:從需求到上線

系統講解AI客服機器人怎麼做,涵蓋目標定義、流程盤點、知識庫建設、人機協同、上線驗收及持續最佳化,幫助企業搭建可落地的智慧客服體系。

一、先定義上線目標:不要從「機器人能做什麼」開始

AI 客服專案最容易走偏的起點,是先羅列模型能力,再尋找可以落地的場景。這樣做往往會得到一份很長的功能清單,卻無法回答上線後究竟改善了什麼。更穩妥的順序是先確認當前客服鏈路中最需要解決的問題,再判斷其中哪些環節適合由機器人承擔。

首期應當聚焦主要目標,例如減少重複問題對人工坐席的佔用、壓縮使用者等待首次答覆的時間,或者補足夜間與節假日的服務空檔。其他指標可以作為觀察項,但不宜同時作為專案成敗的硬性條件。原因在於,不同目標可能要求完全不同的策略:追求更高的自動處理比例,可能增加錯誤回答風險;強調滿意度,則需要更保守的回答範圍和更及時的人工介入。多個目標並列,會讓團隊在提示詞、知識內容和轉接規則上反覆搖擺。

目標確定後,先記錄上線前的業務基線。沒有基線,即使機器人投入使用,也只能看到會話量和回答次數,無法判斷它是否真正改善了服務。基線應從同一通路、相近業務週期中提取,並統一統計口徑。

基線專案需要回答的問題常見口徑風險
諮詢規模與分佈各通路有多少會話,忙時集中在哪些時段把訊息條數誤當成獨立諮詢量
問題類別高頻問題、長尾問題和異常問題各自佔據多少工作量分類過粗,無法對應具體處理動作
人工處理成本不同型別問題平均需要多少處理時間只計算通話或聊天時間,遺漏查詢和後續操作
服務結果首次接觸是否解決,使用者是否再次進線會話結束被直接視為問題已解決
協同指標當前轉接比例、等待情況和轉接後的處理結果如何只記錄轉接動作,不記錄轉接原因
使用者回饋滿意度變化與哪些場景、通路或時段相關忽略評價樣本偏差和無評價會話

基線不是一次性的報表,而是後續驗收的對照組。統計時應保留問題分類、通路、時段和處理結果等維度,避免上線後只能比較總體均值,無法定位變化來自機器人、業務波動還是統計口徑調整。

接下來要劃定服務邊界。可以參考處理責任對諮詢進行分類:

  • 機器人可直接答覆:答案穩定、公開且不依賴使用者個體狀態,例如規則說明、辦理條件和服務時間。
  • 需要執行業務流程:必須查詢訂單、帳戶或工單狀態,或者需要提交申請。這類場景不能只生成文本,還要定義身份校驗、介面失敗和結果確認機制。
  • 必須交由人工:涉及投訴升級、複雜判斷、連續多輪未解決,或使用者明確要求人工服務。
  • 禁止機器人處理:包括越權承諾、敏感資訊披露、高風險決策以及企業尚未授權自動處理的事項。此類問題應停止推斷,並進入預設處置流程。

邊界應落實為可執行規則,而不是「複雜問題轉人工」一類模糊描述。專案團隊需要明確什麼條件觸發轉接、機器人在轉接前收集哪些資訊、是否向人工傳遞會話摘要,以及哪些內容即使知識庫中存在也不得直接輸出。

專案啟動時,最終應形成一份能夠被業務、客服營運和技術團隊共同確認的清單。清單至少包含主目標及其計算方式、首期覆蓋場景、明確排除的事項、主要風險與處置原則、業務責任人、資料口徑負責人,以及計劃驗收時間。每個場景還應指定最終決策者,避免知識爭議長期停留在技術團隊。

這一階段的交付物不是機器人原型,而是一套可檢驗的上線假設:針對哪些問題、改變哪項業務結果、在哪些邊界內執行、由誰對結果負責。只有這些條件先被寫清楚,後續的知識建設、轉人工設計和驗收測試才有穩定依據。

二、盤點客服流程:把歷史會話變成可執行的場景地圖

客服流程盤點不能停在 FAQ 彙總。FAQ 只描述「使用者問了什麼、應該怎麼答」,但真實服務往往還包含身份確認、參數補充、系統查詢、規則判斷、業務操作和結果回告。如果這些環節沒有被拆出來,機器人即使能回答政策,也無法完成一筆退款查詢、預約變更或售後受理。

建議以完整會話或工單為分析單位,而不是按單條訊息統計關鍵詞。先抽取一批具有代表性的歷史記錄,去除測試訊息、重複工單和無效對話,再按以下維度標註:

  • 使用者意圖:使用者最終想解決什麼,例如查詢進度、修改預約、申請退費,而不是只記錄其開場問題。
  • 追問路徑:客服為確認問題補問了哪些內容,哪些欄位缺失時無法繼續處理。
  • 輸入資訊:完成服務需要訂單號、聯絡方式、時間、商品資訊還是身份憑證。
  • 處理動作:客服是查系統、解釋規則、提交申請、修改狀態,還是派發給其他部門。
  • 服務結果:問題是否當場解決、等待後臺處理、轉交人工,或因條件不滿足而終止。

標註完成後,應將表達不同但處理路徑相同的會話合併為一個場景。例如「錢什麼時候退」「退費還沒到賬」和「退款進度在哪裡看」可能都落入退款進度查詢;而「我要申請退款」屬於另一個流程。場景邊界應由後續動作決定,不能僅依賴語義相似度。

場景排期可綜合考慮業務量、規則穩定性、錯誤後果和人工耗時等因素。不要簡單地把諮詢最多的場景全部交給 AI,也不要因為某類問題能寫出標準話術,就認為它適合自動處理。

場景特徵建議處理方式工程判斷
發生頻繁、規則清晰、資訊可核驗優先自動處理適合形成固定問詢與系統操作鏈路
規則明確,但需要呼叫業務系統先做受控自動化必須定義介面失敗、資料缺失和超時後的去向
低頻但人工處理耗時較長評估開發與維護成本後排期不能只看單次節省時間,還要考慮規則變化頻率
投訴升級、法律爭議、複雜售後或強情緒溝通以人工服務為主AI 可負責識別與收集背景,不應擅自給出承諾

退款、預約和訂單狀態查詢等任務還要畫成流程,而不是寫成一段答案。以退款進度為例,機器人先確認訂單標識與使用者身份,再呼叫系統核對記錄;隨後判斷申請是否存在、是否通過審核、是否已發起支付以及是否超過正常處理區間。每一種狀態對應不同回覆,遇到記錄衝突、介面不可用、身份校驗失敗或使用者提出爭議時,應停止自動推進並交由人工處理。

流程圖需要同時覆蓋正常路徑和異常路徑。前者說明怎樣完成服務,後者決定系統何時不能繼續。很多上線問題並非答案錯誤,而是機器人在缺少關鍵資訊、業務狀態不一致或權限不足時仍然嘗試作答。

最終,每個場景都應沉澱為一張可開發、可驗收的場景卡,至少寫清以下內容:

  • 典型觸發表達及容易混淆的相鄰意圖;
  • 對外答覆口徑及其適用範圍;
  • 進入處理前必須取得的使用者資訊;
  • 系統查詢、規則判斷與業務操作步驟;
  • 資料缺失、校驗失敗、狀態衝突等異常分支;
  • 必須轉人工的條件、需要攜帶的上下文以及接收團隊;
  • 業務規則的維護責任人和更新觸發機制。

場景地圖的完成標準,不是「整理了多少問答」,而是產品、客服、業務和技術人員看到同一張卡後,能夠一致判斷機器人要收集什麼、執行什麼、何時停止,以及最終由誰負責。只有達到這一程度,歷史會話才真正轉化為可實施的客服流程。

三、準備知識:從「上傳文件」轉向「建設可回答知識」

AI 客服需要的不是一個檔案倉庫,而是一組可以被準確檢索、明確適用範圍、能夠直接支撐回答的知識單元。企業已有資料通常按部門儲存:產品團隊維護說明書,營運團隊發布活動規則,客服團隊記錄售後口徑,法務團隊更新政策條款。使用者提問卻不會遵循組織邊界。例如「這個型號在海外購買後能否在國內保修」,同時涉及產品版本、銷售區域和售後規則。知識建設因此應圍繞使用者任務組織,而不是照搬內部目錄。

首期範圍可以從歷史會話中的高頻問題反推。通常應優先處理商品功能與操作方法、費用及優惠條件、發貨與配送進度、取消和退款、換貨維修、帳戶或訂單異常等內容。分類時可採用「購買前諮詢—下單與支付—履約查詢—使用指導—退換與維修」的使用者旅程,使一個問題涉及的資料儘量落在相鄰場景中。

先治理內容,再執行匯入

原始文件進入知識庫前,至少要完成版本、重複和衝突檢查。常見風險包括:舊價格表仍可檢索,同一政策在多個頁面存在不同表述,新舊產品共用一份操作說明,以及臨時活動規則沒有結束日期。若不先清理,檢索系統可能準確找到一段文字,卻給出業務上錯誤的答案。

  • 刪除過期資料:確認已停止執行的規則不再參與檢索,但可保留在審計歸檔中。
  • 合併重複表達:同一結論只維護一個權威版本,其他頁面通過引用關聯,避免分別更新。
  • 解決規則衝突:不能由知識營運人員自行猜測,應交給對應業務負責人確認最終口徑。
  • 拆解複合文件:將長手冊按具體問題切分,每個單元只處理一個主要意圖,並保留必要前提。

拆分粒度可以用一個簡單標準判斷:某段內容脫離原文後,是否仍能獨立回答一個真實問題。過大的單元會混入無關上下文,過小則可能丟失限制條件。例如,「退貨流程」不應只保留操作步驟,還要同時說明適用訂單、時間要求、商品狀態及例外情形;否則回答看似完整,實際可能誤導使用者。

為知識增加適用邊界

知識正文之外,還應配置結構化後設資料。沒有邊界標記的政策,很容易被錯誤地用於其他市場、產品或客戶群。可結合業務需要維護相關欄位,例如:

欄位作用維護要求
產品與版本限定適用型號、套餐或軟體版本避免使用「全部產品」等模糊描述
客戶範圍區分個人、企業、會員等級等條件與客戶系統中的分類保持一致
區域與服務通路限制國家、地區、門店、網站或第三方平台跨區域政策應分別維護
有效期限控制規則何時開始、何時停止使用臨時活動必須設定終止時間
內容負責人明確誰負責審核、更新和解釋應指向崗位或團隊,而非僅寫姓名

對價格、促銷、退換條件等敏感內容,還應記錄來原始檔和最近審核時間。機器人返回答案時,系統應先檢查後設資料是否與當前會話條件匹配,再使用正文生成回覆;缺少地區、型號等關鍵條件時,應先追問,而不是預設套用某條規則。

用最小可用知識集啟動

首期不必追求資料總量。更穩妥的做法是選取一段有代表性的歷史會話,按諮詢量和業務風險排序:高頻且規則穩定的問題優先上線;低頻但可能造成資損或合規風險的問題,應設定更嚴格的回答條件;尚未確認口徑的內容暫不開放自動回答。

上線後,知識擴充應由真實失敗案例驅動。定期彙總機器人答錯、無法回答、反覆追問以及轉入人工的會話,判斷問題究竟來自知識缺失、檢索不到、適用條件未標註,還是原始規則本身存在衝突。修改後必須使用原問題及其口語化變體複測,並保留修訂記錄。這樣形成的知識庫不是一次性資料搬運,而是一套能夠持續校正、責任明確的業務回答體系。

四、設計人機協同:轉人工不是兜底按鈕,而是一套服務協議

轉人工不能只設計成一個按鈕。對使用者來說,它意味著服務責任從機器人移交給人工;對系統來說,則涉及觸發判斷、上下文交付、佇列響應和異常回退。任何一環沒有定義清楚,都會出現機器人反覆追問、人工不瞭解前情、使用者重新描述問題等體驗斷點。

先把轉接條件寫成可執行規則。不應讓機器人自行判斷「這個問題是否複雜」,而要把觸發訊號拆成明確條件。建議至少覆蓋以下幾類:

  • 使用者明確提出「找人工」「轉客服」等要求時,直接進入轉接流程,不繼續勸阻或重複回答。
  • 同一意圖經過多輪互動仍未解決,或使用者反覆改寫同一個問題時,停止無效循環。
  • 答案置信度不足、檢索結果相互衝突、關鍵業務欄位缺失且無法繼續確認時,不輸出推測性結論。
  • 識別到明顯的不滿、焦慮、指責或升級訴求時,優先交給具備溝通和處置權限的人員。
  • 退款爭議、正式投訴、法律責任、帳戶安全、重大損失等高風險事項,應按業務規則直接轉人工,不由模型自由發揮。

這些條件還要區分「立即轉接」和「補充資訊後轉接」。例如投訴事項應儘快移交;維修預約則可以先由機器人收集裝置型號、故障現象和聯絡方式,再把結構化資訊交給人工。這樣既不拖延風險問題,也能減少人工接管後的重複詢問。

轉接的核心不是傳遞聊天記錄,而是交付可接管的上下文。完整記錄往往很長,人工客服仍要重新閱讀和判斷。系統應在轉接時生成一份結構化交接包:

交接內容工程要求
會話摘要說明使用者要解決什麼、已經溝通到哪一步,避免簡單拼接原文。
意圖與風險標記當前識別結果、情緒變化及是否涉及投訴、退款或安全問題。
使用者與業務資訊同步已獲授權使用的身份資訊、訂單或服務對象,以及機器人已收集的欄位。
回答依據列出機器人引用過的知識條目及適用條件,便於人工快速核驗。
未解決原因明確是知識缺失、權限不足、規則衝突,還是使用者否定了已有答案。

交接包需要保留來源與時間資訊,並允許人工檢視原始會話。摘要只能幫助提速,不能替代審計記錄。涉及個人資訊時,還應遵循最小必要原則,避免把與當前服務無關的資料帶入人工工作臺。

人工接管也要有服務狀態機。企業需要規定進入佇列後的響應時限、排隊期間的機器人話術、非工作時段的處理方式,以及轉接失敗後的回退路徑。機器人應明確告知使用者當前狀態,而不是不斷回覆「正在轉接」。無人線上時,可以建立待辦並告知預計處理方式;佇列異常時,應允許使用者留下聯絡方式、選擇稍後繼續,或進入其他受控通路。任何回退都不能把高風險問題重新交給機器人生成結論。

提示詞負責行為一致性,規則系統負責業務約束。Prompt可以統一機器人身份、表達語氣、答覆長度和引用要求,也應明確「無法確認時承認未知,不得補造事實」。但退款、投訴、法律事項等邊界,不能只寫在提示詞裡。提示詞可能受到上下文干擾,也難以承擔穩定的審計職責。轉接閾值、風險標籤、權限校驗和必填欄位應固化為流程規則,並通過日誌記錄每次觸發原因。

上線前應把人機協同按完整鏈路驗收:觸發是否及時、資訊是否帶全、人工是否真正收到、使用者是否獲得狀態回饋、失敗後是否安全回退。只有這些環節都可觀察、可追蹤、可複測,轉人工才不是機器人答不上來後的臨時出口,而是可持續執行的服務協議。

五、上線前驗收:用真實問題驗證,而不是只測標準問法

上線驗收的目標不是證明機器人「多數時候能回答」,而是確認它在真實服務壓力下不會造成不可接受的業務後果。標準問法通常與知識庫標題高度相似,只能驗證理想路徑;使用者實際輸入往往省略背景、混合多個訴求,還會出現口語縮寫、錯別字和連續追問。若測試集只由專案團隊臨時編寫,結果通常會明顯高估可用性。

驗收集應從歷史會話中抽樣,並完成脫敏、去重和場景標註。除高頻諮詢外,還要保留低頻但風險較高的問題,覆蓋以下輸入形態:

  • 表達規範、資訊完整的標準問題,用於確認基礎能力沒有退化;
  • 口語、簡稱、錯字、語序混亂等自然輸入;
  • 一條訊息同時包含查詢、投訴或辦理要求的多意圖問題;
  • 缺少訂單號、時間、產品型別等必要條件的請求;
  • 依賴前文指代、省略主語或中途改變訴求的上下文追問;
  • 要求越權操作、套取內部規則或誘導機器人作出承諾的問題。

歷史樣本不能直接當作標準答案。客服原回覆可能已經過期,也可能依賴當時的人工判斷。每條用例都應補充期望意圖、適用知識、必要追問、允許執行的動作、轉人工條件及禁止回答內容,由業務、客服和合規責任人共同確認。

驗收結果不要壓縮成一個「準確率總分」。總分可能掩蓋關鍵故障:機器人識別了意圖,卻檢索到舊政策;答案文字看似合理,實際呼叫了錯誤流程;正常問題表現良好,但在系統超時後不斷重複回覆。應按能力鏈路分別記錄結果。

檢查項驗收重點常見故障
意圖理解主訴求、附加訴求及上下文是否識別正確把投訴識別為諮詢,忽略多意圖中的辦理請求
知識檢索召回內容是否適用當前產品、地區、時間和使用者條件引用過期規則或相似但不適用的條款
答案品質事實是否準確,結論與證據是否一致,邊界是否說明補寫知識中不存在的條件、時限或權益
流程執行參數校驗、權限檢查、狀態變更及失敗回滾是否正確資訊不全仍提交,重複建立工單或錯誤發起退款
人工轉接觸發時機、上下文移交和佇列選擇是否符合規則高風險訴求繼續自動回答,轉接後要求使用者重新描述
異常恢復超時、介面失敗、知識缺失和對話中斷後能否安全收斂循環回覆、偽造成功結果或靜默結束會話

在通過率之外,還必須設定阻斷上線的紅線。只要出現編造政策、虛構優惠或賠付承諾、暴露個人與企業敏感資訊、錯誤執行退款等資金操作,或者達到轉人工條件卻繼續自動處理,就應立即停止發布並定位原因。紅線用例應在每次知識、提示詞、模型、工具介面或流程規則變更後強制迴歸,不能用其他場景的高分抵消。

發布應分階段擴大風險暴露範圍。內部試用階段重點發現知識缺口和互動斷點,進入條件是核心流程可執行,退出條件是阻斷問題清零;小流量灰度階段只接入可觀測的真實請求,要求監控、會話追蹤和人工接管均已可用;限定場景開放階段僅放行邊界清楚、可回退的業務,若異常率、投訴或人工接管負擔超過企業設定閾值,應縮小範圍或回滾;全面推廣前,則要確認高風險場景複測通過、值班責任明確、版本可追溯,並具備快速停用自動執行能力。

最終驗收物不應只是一份測試報告,還應包括脫敏用例庫、問題歸因記錄、紅線清單、階段准入規則和迴歸結果。這樣,後續每次更新都能在同一基線上複測,把上線從一次性評審變成可重複執行的工程流程。

六、評估與持續最佳化:建立「資料—歸因—修改—複測」閉環

AI 客服上線不是專案結束,而是進入營運階段。評估時不能只看回覆量、響應速度或機器人承接量,這些指標只能說明系統在工作,不能證明問題已經解決。更可行的做法是同時設定結果指標與護欄指標:前者判斷業務收益,後者防止系統以犧牲服務品質換取表面效率。

先統一「解決」的統計口徑

核心結果指標通常包括自動解決率、首次接觸解決率、轉人工比例、使用者滿意度和單次服務成本。其中最容易失真的指標是自動解決率。機器人發出回覆,甚至使用者沒有繼續追問,都不應直接算作解決。

一次自動解決是否有效,應綜合判斷使用者訴求的完成情況、會話是否轉入人工,以及觀察週期內是否因同一問題再次進線。計算時還要明確分母是否包含閒聊、測試會話、惡意請求、系統故障和機器人無權處理的業務,否則不同週期的資料無法比較。

指標型別建議觀察項主要用途
結果指標自動解決、一次解決、人工轉接、滿意度、服務成本判斷效率、體驗與成本是否改善
護欄指標重複進線、錯誤答覆、投訴、高風險會話識別被平均值掩蓋的品質問題

指標應按場景、通路、使用者型別和版本拆分。整體滿意度上漲,不代表退款、帳戶安全等關鍵場景也在改善;轉人工率下降,也可能是轉接入口失效。只看彙總值,很容易把系統缺陷誤判為營運成果。

抽檢失敗會話,並給出可執行歸因

定期抽檢應優先覆蓋低滿意度、答非所問、未找到答案、轉接失敗、短期重複諮詢以及涉及資金、隱私、合規的會話。抽檢結果不能停留在「回答不好」,而要歸入能夠驅動修改的原因類別:

  • 知識缺失:沒有可用答案,或現有內容缺少適用條件、例外情況和辦理步驟。
  • 檢索偏差:知識已經存在,但召回了錯誤條目,或排序未把正確內容放到前面。
  • 規則配置錯誤:意圖識別、權限判斷、風險攔截或轉接條件與實際業務不一致。
  • 流程設計缺陷:機器人知道答案,卻無法查詢訂單、提交申請或完成後續動作。
  • 模型表達問題:事實基本正確,但表述含糊、遺漏限制條件,或給出了超出權限的承諾。

歸因後應記錄責任對象、影響場景、嚴重程度和修復方式。高頻問題不一定優先順序最高;低頻但可能引發資金損失、隱私洩露或錯誤承諾的問題,應先處理。

修改必須可追蹤,效果必須經過複測

知識內容、提示詞和工作流都應建立版本記錄,至少保留修改原因、變更內容、影響範圍、發布時間和回滾方式。直接覆蓋線上配置會導致問題出現後無法判斷是資料波動、模型變化,還是某次修改引起。

每次變更都應重新執行由真實歷史問題構成的迴歸集,既檢查目標問題是否修復,也檢查相鄰場景是否退化。對錶達策略、追問方式等難以離線判斷的調整,可採用 A/B 測試,在相近流量和使用者結構下比較解決率、滿意度及護欄指標。只有主要指標改善且風險沒有上升,修改才應擴大範圍。

最終形成固定營運節奏:採集會話資料,定位異常樣本,完成原因歸類,修改知識或流程,再以迴歸測試或分流實驗驗證。每輪迭代都留下版本與結論,AI 客服才能從依賴個人經驗的維護工作,轉變為可重複、可審計的工程閉環。

七、FAQ:AI客服上線中的常見問題

首期應該上線多少個客服場景?

首期範圍不應按場景數量拍板,而應按驗證成本控制。更穩妥的做法是選擇一組邊界清楚、業務價值可確認、失敗後容易轉交人工的場景,覆蓋從識別意圖、查詢知識到完成回覆的完整鏈路。不要為了體現覆蓋面,同時上線大量彼此差異很大的問題。

一個場景是否適合率先自動化,可以用以下條件判斷:

  • 使用者目標相對明確,不需要客服反覆追問才能理解。
  • 答案主要來自穩定規則或已有資料,而非依賴個人經驗判斷。
  • 處理過程不涉及高風險承諾、複雜協商或不可逆操作。
  • 歷史會話量足以支援測試,也能觀察上線後的實際收益。
  • 回答失敗時,可以明確識別並及時轉人工,不會讓使用者困在對話中。

若某類諮詢看似頻繁,但每次都要結合訂單狀態、客戶等級、合同條款和異常原因綜合判斷,它未必適合首期直接自動處理。可以先讓機器人完成資訊收集、問題分類和處理進度說明,再由人工做最終判斷。

知識庫準備到什麼程度才能上線?

灰度上線不要求知識覆蓋所有問題,但要求已納入範圍的場景能夠形成閉環。判斷標準不是「上傳了多少文件」,而是機器人能否從知識中找到明確、有效且適用於當前使用者的答案。

上線前應結合具體場景檢查核心問題的答案是否可判定、內容是否標明適用條件、過期或衝突規則是否已清理,以及無法回答時是否具備拒答或轉人工路徑。涉及步驟操作的知識,還應拆成可執行的順序,而不是保留為大段制度文本。

可以建立一份場景級驗收表,每個場景都準備常見問法、口語表達、資訊缺失問法、錯誤前提和邊界問題。只有標準問法回答正確,並不足以進入灰度。真實使用者經常省略上下文、混用名稱或一次提出多個訴求,這些情況必須提前驗證。

轉人工規則應該設得寬鬆還是嚴格?

轉人工不宜用單一閾值控制。規則過寬,會讓自動化形同虛設;規則過嚴,則會造成重複追問、錯誤承諾和使用者流失。工程上應按風險、置信程度和對話狀態分層處理。

  • 立即轉接:投訴升級、資金爭議、法律風險、人身安全、使用者明確要求人工等情況。
  • 條件轉接:連續未解決、關鍵資料缺失、知識存在衝突、需要人工授權或後臺操作。
  • 繼續自動處理:答案來源明確、場景邊界穩定,並且使用者回饋表明問題正在被解決。

轉接協議還應定義機器人向人工傳遞什麼,包括使用者訴求摘要、已確認資訊、引用過的規則、失敗原因及當前情緒訊號。若轉接後仍讓使用者從頭複述,技術上完成了路由,服務體驗卻沒有形成連續性。評估規則時,也不能只看自動化率,還要同時觀察重複諮詢、錯誤解決、再次轉人工和使用者主動退出等現象。

AI客服效果不好時,應該先最佳化哪裡?

不要先換模型,也不要同時修改知識、提示詞和流程,否則無法確認改動為何有效。應先從失敗會話中抽樣,按原因分類,再選擇最靠近根因的修復位置。

  • 知識中沒有答案、內容過期或規則互相矛盾:先修知識。
  • 能檢索到正確材料,但回答遺漏條件、表達越界或格式不穩定:調整提示詞和輸出約束。
  • 機器人缺少必要資訊,卻沒有追問;本應辦理業務,卻只能解釋政策:修改對話與業務流程。
  • 意圖識別、長上下文理解或複雜推理持續失敗,且前述問題已經排除:再評估模型能力。

每次最佳化都應保留固定測試集,同時加入本輪線上失敗樣本,完成修改後進行迴歸測試。判斷效果時,應落到「問題是否被正確解決」,而不是只看回復是否流暢。持續最佳化的基本節奏是:收集失敗記錄、定位責任層、單點修改、離線複測、小流量驗證,再決定是否擴大範圍。