隨著AI大模型技術(shù)的不斷升級，大模型“無所不能”的印象深入人心。但實際上，人們對于大模型能力似乎過于“樂觀”，它在諸多行業(yè)領(lǐng)域的應(yīng)用仍然存在著問題。2023年國際醫(yī)療期刊上的一篇文章調(diào)查了臨床醫(yī)生配備了AI模型后，對診斷準(zhǔn)確率產(chǎn)生的影響。數(shù)據(jù)顯示，在標(biāo)準(zhǔn)AI模型的幫助下，醫(yī)生診斷準(zhǔn)確率的提升是有限的；但如果AI模型本身是有偏倚的，會誤導(dǎo)醫(yī)生導(dǎo)致診斷準(zhǔn)確率更大篇幅的下降。也就是說，“聰明的AI只幫小忙，笨的AI捅大簍子”。

從“磚家”到“專家”的距離有多遠？可以總結(jié)為四個方面：推理核驗殘差、專業(yè)知識工程、反饋循環(huán)效率及安全單點。

推理核驗殘差：大模型無法做到“知之為知之、不知為不知”，當(dāng)它信息不足、能力不足時會出現(xiàn)知識幻覺，仍然試圖給出答案，這是專業(yè)領(lǐng)域的大忌。所以人們在使用AI進行決策時需要進行關(guān)鍵的驗證，要意識到這種情況，也就是推理核驗與殘差。

專業(yè)知識工程：偽專家和真專家的區(qū)別是對專業(yè)概念的把握，專業(yè)知識庫的沉淀是需要專家來參與的，很難從通用信息中獲得。而通用大模型使用的信息和預(yù)訓(xùn)練的數(shù)據(jù)往往來自于公開、通用的信息，這導(dǎo)致了大模型缺乏專業(yè)知識。

反饋循環(huán)效率：反饋是現(xiàn)代控制系統(tǒng)的核心機制，然而，GPT架構(gòu)的反饋循環(huán)效率非常低。在專業(yè)領(lǐng)域中，知識的迭代更新是非常頻繁的，而GPT主要的知識更新模式是通過SFT、RLHF等方式進行迭代，其代價相當(dāng)大，且難以高效內(nèi)化場景知識的變更。

安全單點：大部分用戶在發(fā)現(xiàn)大模型具備的強大能力后，會試圖將所有的RAG（信息）和Tool（工具）交給大模型。從安全的視角來看，此舉會帶來巨大的安全隱患，很可能會造成敏感信息或行業(yè)機密的泄露。同時，如果將全部工具交給大模型而不限制其權(quán)限，一旦被大模型單點突破，就會賦予攻擊者幾乎所有的權(quán)限，同樣會帶來嚴重后果。

如果將AI視為“引擎”，那么這臺引擎目前似乎只能駕馭“自行車”，若想讓其發(fā)動專業(yè)領(lǐng)域這臺“四輪車”，則需要構(gòu)造一套嚴密的配套設(shè)施，也就是DKCF大模型可信框架。

DKCF指的是Data（數(shù)據(jù)）、Knowledge（知識）、Collaboration（協(xié)同）和Feedback（反饋），將數(shù)據(jù)、知識、協(xié)同和反饋融合在一起，形成整個大模型應(yīng)用的可信框架，其涵蓋了專業(yè)大模型安全可信的必備要素。

智力引擎和知識供給是專業(yè)大模型安全可信的第一要素。以無人駕駛為例，車輛行駛需要前進、后退、剎車、轉(zhuǎn)彎等，這是基礎(chǔ)能力，需要通過引擎來實現(xiàn)；從一段路的起點開到終點則需要地圖，需要做好路徑規(guī)劃，這就涉及到了知識的供給。

GPT大模型的智力引擎是四大類基礎(chǔ)能力，包括基礎(chǔ)的邏輯推理能力、數(shù)學(xué)計算能力、搭建知識庫和外部供給調(diào)用能力。搭建知識庫分為內(nèi)置知識庫（利用通用知識訓(xùn)練后內(nèi)化的知識）和外置知識庫（應(yīng)對知識頻繁迭代的需求）。在專業(yè)領(lǐng)域中，擁有外部專業(yè)知識供給調(diào)用的大模型要比用大量通用知識訓(xùn)練的普通大模型具備更快速的適配能力，且大量降低成本。

下一項必備要素是推理自解構(gòu)（推理白盒化），絕大多數(shù)的AI模型存在決策黑盒化的問題，可解釋性差，會造成用戶的不信任。為了解決這個問題，首先要對任務(wù)進行解釋和分拆，將給定任務(wù)拆分成一個個可以獨立驗證的子步驟，根據(jù)優(yōu)先級編排或調(diào)整子步驟的推理要素，并通過知識工程實現(xiàn)推演過程的完備性。當(dāng)推理結(jié)果得出時，還需要對結(jié)果進行核驗，一方面，核驗推理結(jié)果是否嚴格遵守子步驟的邏輯性和標(biāo)準(zhǔn)處置流程（SOP），另一方面，判斷大模型是否存在信息不足或能力不足，也就是上文所說“推理核驗殘差”。

第三個必備要素是協(xié)同與反饋。未來大模型應(yīng)用，任務(wù)場景越來越復(fù)雜，復(fù)雜的任務(wù)需要由很多智能體相互協(xié)同來完成，如任務(wù)規(guī)劃的規(guī)劃智能體，編排的編排智能體等。同時，還需要設(shè)置核驗機制。反饋則指的是，在大模型存在殘差時，通過反饋機制推動任務(wù)朝著正確的方向進行下去。

最后是大模型安全底盤能力。去年8月，開源人工智能框架Ray曝出嚴重漏洞，大模型應(yīng)用存在極大的安全風(fēng)險。螞蟻集團提出了兩個可以為大模型安全保駕護航的安全范式：

OVTP可溯范式（Operator-Voucher-Traceable Paradigm）、NbSP零越范式（Non-bypassable Security Paradigm）。OVTP范式指出，要完整準(zhǔn)確地研判一個網(wǎng)絡(luò)訪問是否合法，應(yīng)該基于該訪問的操作者（Operator）的訪問鏈路信息與憑證（Voucher）的傳遞鏈路信息。

在安全策略層應(yīng)當(dāng)遵循OVTP可溯范式，即大模型對所有工具或外部信息的訪問控制都應(yīng)基于該訪問的操作者鏈路和憑證鏈路的端到端信息來決策，而不是直接使用大模型自身的身份。敏感信息不要讓專業(yè)大模型學(xué)習(xí)，而是在實際應(yīng)用中通過RAG外掛對接，在RAG訪問時做符合OVTP可溯范式的訪問控制。

作為各種安全機制包括OVTP可溯范式的基礎(chǔ)性支撐，NbSP零越范式是顯式要求確保關(guān)鍵安全檢查點不可被繞過。因此，在訪問控制機制上應(yīng)遵循NbSP零越范式，即應(yīng)當(dāng)確保關(guān)鍵安全檢查點不可被繞過，所有繞過的行為皆為非法。NbSP零越范式是網(wǎng)絡(luò)空間安全保障的一個必要條件，其他網(wǎng)絡(luò)安全基本屬性，如機密性、完整性、可用性等則是更基本、更底層的安全范式。

綜上所述，DKCF可信框架是基于專業(yè)大模型必備要素而形成的，其架構(gòu)能極大提升大模型的可信度，駕馭起專業(yè)領(lǐng)域這輛“四輪車”。

分享的最后，仲震宇介紹了DKCF大模型應(yīng)用可信框架在螞蟻網(wǎng)絡(luò)安全運營中實踐。告警處置是網(wǎng)絡(luò)安全運營的基本工作，當(dāng)業(yè)務(wù)體量非常龐大時，告警數(shù)量也會同樣龐大，以螞蟻為例，每秒會產(chǎn)生數(shù)億級的安全日志，無法通過自動化工具完全解決。螞蟻利用DKCF可信框架建了一系列的智能體來處置海量告警，如知識構(gòu)建、任務(wù)規(guī)劃、線索調(diào)查等，每個智能體完成各自的專業(yè)任務(wù)。此外，還配備了一系列專業(yè)的工具來應(yīng)對殘差，當(dāng)出現(xiàn)能力問題時，可通過專業(yè)工具來提供專業(yè)能力。同時，已經(jīng)形成SOP的告警還可以被轉(zhuǎn)化成知識圖譜，分拆推理步驟并注入大模型，讓其根據(jù)步驟執(zhí)行運營任務(wù)，針對沒有SOP的告警也有一套解決方案，最終不僅可以實現(xiàn)網(wǎng)安領(lǐng)域安全知識的構(gòu)建，還能做到推理的自解構(gòu)，完成的知識圖譜也可以反過來對推理結(jié)果做驗證。

目前，螞蟻集團對DKCF可信框架的應(yīng)用，已經(jīng)初步構(gòu)建了覆蓋數(shù)百類風(fēng)險場景的知識圖譜，日均告警的輔助運營數(shù)千條，且?guī)缀醪淮嬖谕评砘糜X的現(xiàn)象。  

可以說，DKCF可信框架總結(jié)了專業(yè)大模型實現(xiàn)安全可信的必備要素，能有效推動大模型在專業(yè)領(lǐng)域方面的應(yīng)用。未來，希望DKCF可信框架進一步落地，帶動專業(yè)大模型應(yīng)用的變革。