比盛夏的上海更火熱的是2024世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議（以下簡(jiǎn)稱“WAIC 2024”）。大會(huì)線下參觀人數(shù)突破30萬(wàn)人次，創(chuàng)歷史新高。

　　值得注意的是，WAIC 2024的首發(fā)首秀不僅涉及模型更新?lián)Q代，還涵蓋應(yīng)用、平臺(tái)、系統(tǒng)等。行業(yè)和觀眾的目光更多投向與模型落地緊密相關(guān)的交互體驗(yàn)、商業(yè)模式等領(lǐng)域。

　　一個(gè)引發(fā)廣泛關(guān)注的問(wèn)題是，隨著大模型能力不斷增強(qiáng)，其安全性、可靠性、可控性也日益受到挑戰(zhàn)。尤其是面對(duì)行業(yè)用戶合法合規(guī)、精準(zhǔn)可控等要求，大模型可能存在的數(shù)據(jù)安全、幻覺(jué)等成為繞不過(guò)的問(wèn)題。

　　中國(guó)信息通信研究院華東分院人工智能事業(yè)部主任常永波說(shuō)，應(yīng)用價(jià)值與應(yīng)用安全是大模型發(fā)展的兩翼，當(dāng)前大模型已進(jìn)入快速迭代期，在積極探索落地應(yīng)用的同時(shí)，大模型廠商也要高度重視應(yīng)用場(chǎng)景需求下對(duì)安全的行業(yè)要求。

　　技術(shù)自身缺陷不容忽視

　　依托龐大參數(shù)規(guī)模、海量訓(xùn)練數(shù)據(jù)、強(qiáng)大算力資源，大模型作為人工智能領(lǐng)域最熱門(mén)的技術(shù)分支，已在多個(gè)領(lǐng)域表現(xiàn)出超越人類的能力。

　　“金融、醫(yī)療、教育、政務(wù)、制造等眾多領(lǐng)域都在積極探索大模型安全應(yīng)用范式，以應(yīng)對(duì)大模型安全風(fēng)險(xiǎn)?！背Ｓ啦ń榻B，伴隨大模型的深度應(yīng)用，產(chǎn)學(xué)研用各方都在加強(qiáng)大模型安全威脅和防御技術(shù)體系研究。在原有可信人工智能治理體系框架基礎(chǔ)上，提升大模型的魯棒性、可解釋性、公平性、真實(shí)性等能力成為行業(yè)研究熱點(diǎn)。安全評(píng)測(cè)技術(shù)和安全防御技術(shù)的不斷成熟，有效護(hù)航大模型發(fā)展。

　　WAIC 2024上，清華大學(xué)、中關(guān)村實(shí)驗(yàn)室、螞蟻集團(tuán)等機(jī)構(gòu)聯(lián)合撰寫(xiě)的《大模型安全實(shí)踐（2024）》白皮書(shū)（以下簡(jiǎn)稱“白皮書(shū)”）正式發(fā)布。白皮書(shū)顯示，大模型技術(shù)存在自身缺陷，包括生成內(nèi)容不可信、能力不可控以及外部安全隱患等問(wèn)題。

　　“幻覺(jué)是大模型目前比較難解決的問(wèn)題。”常永波說(shuō)，模型在遵循語(yǔ)法規(guī)則的同時(shí)，可能產(chǎn)生虛假或無(wú)意義的信息。這一現(xiàn)象源于大模型基于概率推理的輸出方式。它可能導(dǎo)致對(duì)模糊預(yù)測(cè)的過(guò)度自信，從而編造錯(cuò)誤或不存在的事實(shí)，影響生成內(nèi)容的可信度。“智能涌現(xiàn)”是大模型的另一種效應(yīng)，它可以讓模型展現(xiàn)出色性能，也具有突發(fā)性、不可預(yù)測(cè)性和不可控性等特征。

　　另外，大模型的脆弱性和易受攻擊性使外部安全隱患難以消除。相關(guān)數(shù)據(jù)顯示，隨著大模型技術(shù)快速發(fā)展，相關(guān)網(wǎng)絡(luò)攻擊也在增多。

　　聚焦安全可靠可控性建設(shè)

　　大模型帶來(lái)的種種風(fēng)險(xiǎn)，對(duì)監(jiān)管方、學(xué)術(shù)界、產(chǎn)業(yè)界是全新且不可回避的問(wèn)題。

　　近年來(lái)，《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《科技倫理審查辦法（試行）》等政策法規(guī)相繼發(fā)布，搭建起我國(guó)人工智能治理的基本框架。一系列政策法規(guī)堅(jiān)持發(fā)展與安全并重原則，強(qiáng)化科技倫理風(fēng)險(xiǎn)防控，從技術(shù)發(fā)展與治理、服務(wù)規(guī)范、監(jiān)督檢查與法律責(zé)任等層面對(duì)大模型安全發(fā)展提出要求。

　　白皮書(shū)提出，構(gòu)建大模型安全政府監(jiān)管、生態(tài)培育、企業(yè)自律、人才培養(yǎng)、測(cè)試驗(yàn)證“五維一體”的治理框架。

　　在監(jiān)管方面，常永波介紹，敏捷治理正成為一種新型治理模式。該模式以柔韌、流動(dòng)、靈活及自適應(yīng)為特點(diǎn)，倡導(dǎo)多元利益相關(guān)者共同參與，能快速響應(yīng)環(huán)境變化。在實(shí)施治理策略時(shí)，結(jié)合柔性倫理規(guī)范和硬性法律法規(guī)，構(gòu)建完善的治理機(jī)制，在規(guī)制大模型風(fēng)險(xiǎn)的同時(shí)平衡創(chuàng)新與安全。

　　“為確保大模型在實(shí)際應(yīng)用中發(fā)揮最大效能，防止?jié)撛陲L(fēng)險(xiǎn)和濫用，大模型建設(shè)通常會(huì)聚焦三個(gè)重要維度：安全性、可靠性和可控性?！蔽浵伡瘓F(tuán)安全實(shí)驗(yàn)室首席科學(xué)家王維強(qiáng)解釋，安全性意味著確保模型在所有階段都受到保護(hù)，防止任何未經(jīng)授權(quán)的訪問(wèn)、修改或感染，保障人工智能系統(tǒng)無(wú)漏洞、免誘導(dǎo)；可靠性要求大模型在各種情境下都能持續(xù)提供準(zhǔn)確、一致、真實(shí)的結(jié)果，這對(duì)于決策支持系統(tǒng)尤為重要；可控性關(guān)乎模型在提供結(jié)果和決策時(shí)能否讓人類了解和介入，以便人類根據(jù)需要進(jìn)行調(diào)適和操作。

　　王維強(qiáng)特別提到時(shí)下備受關(guān)注的Agent（智能體）。他說(shuō)，Agent是目前大模型落地的關(guān)鍵路徑，但復(fù)雜的Agent體系進(jìn)一步擴(kuò)大了大模型風(fēng)險(xiǎn)敞口。目前RAG（檢索增強(qiáng)生成）、指令遵循、知識(shí)圖譜嵌入等方法可有針對(duì)性地提升模型輸出的可控性和準(zhǔn)確性。

　　合力推動(dòng)人工智能健康發(fā)展

　　“目前來(lái)看，讓大模型完全不犯錯(cuò)幾乎不可能，但減小犯錯(cuò)幾率，減弱錯(cuò)誤危害性，是可以做到的。”常永波說(shuō)，安全治理需產(chǎn)學(xué)研共同發(fā)力，中國(guó)信息通信研究院已開(kāi)展一系列標(biāo)準(zhǔn)和測(cè)評(píng)研究，頭部廠商也在加速構(gòu)建自身的安全和治理體系。

　　螞蟻集團(tuán)安全內(nèi)容智能負(fù)責(zé)人趙智源介紹了相關(guān)經(jīng)驗(yàn)。一方面，在大模型產(chǎn)品投入應(yīng)用前，企業(yè)需做好全面評(píng)測(cè)，對(duì)暴露出的安全問(wèn)題展開(kāi)針對(duì)性防御，把好入口關(guān)；相關(guān)產(chǎn)品進(jìn)入市場(chǎng)后，也要時(shí)刻監(jiān)控可能出現(xiàn)的風(fēng)險(xiǎn)隱患，進(jìn)行技術(shù)補(bǔ)救和改進(jìn)。另一方面，模型技術(shù)通常跑在安全技術(shù)前，行業(yè)研究要保持一定前瞻性。

　　“我們很早就開(kāi)始探索基于安全知識(shí)構(gòu)建視覺(jué)領(lǐng)域生成內(nèi)容風(fēng)險(xiǎn)抑制的技術(shù)。在多模態(tài)大模型發(fā)布后，我們又將這一技術(shù)集成到多模態(tài)基座中，降低風(fēng)險(xiǎn)內(nèi)容生成比例?！壁w智源介紹，螞蟻集團(tuán)已構(gòu)建起面向產(chǎn)業(yè)級(jí)應(yīng)用的大模型安全一體化解決方案“蟻天鑒”2.0版本，形成包括大模型基礎(chǔ)設(shè)施測(cè)評(píng)、大模型X光測(cè)評(píng)等在內(nèi)的測(cè)評(píng)和防御技術(shù)鏈條，并已運(yùn)用于金融、政務(wù)、醫(yī)療等專業(yè)場(chǎng)景下的AI應(yīng)用全流程。

　　常永波說(shuō)，大模型落地門(mén)檻正在大幅降低，大量中小企業(yè)在模型安全治理方面的能力較弱，有些甚至不符合基本的合規(guī)要求。解決這些問(wèn)題，需要監(jiān)管的進(jìn)一步引導(dǎo)和頭部廠商的能力釋放。

　　“我們現(xiàn)在已把‘蟻天鑒’的測(cè)評(píng)能力框架開(kāi)源，將來(lái)也會(huì)把檢測(cè)能力以及對(duì)風(fēng)險(xiǎn)的認(rèn)知更多分享到平臺(tái)上，它可以適配較多模型。希望我們提供的開(kāi)放能力能幫助大模型行業(yè)持續(xù)健康發(fā)展。”王維強(qiáng)說(shuō)，模型廠商離用戶最近，可第一時(shí)間發(fā)現(xiàn)安全隱患，并通過(guò)和監(jiān)管保持良性溝通互動(dòng)，助力大模型安全落地。

　　清華大學(xué)長(zhǎng)聘副教授李琦認(rèn)為，大模型安全應(yīng)用是一個(gè)新興領(lǐng)域，研究和應(yīng)用尚處于起步階段。隨著新的實(shí)踐不斷深入發(fā)展，相關(guān)技術(shù)也會(huì)持續(xù)升級(jí)，為建構(gòu)大模型安全實(shí)踐范式打造高價(jià)值參考體系。

　　人工智能治理是全球性問(wèn)題。WAIC 2024開(kāi)幕式上發(fā)布的《人工智能全球治理上海宣言》提出，高度重視人工智能的安全問(wèn)題。宣言強(qiáng)調(diào)，以發(fā)展的眼光看問(wèn)題，在人類決策與監(jiān)管下，以人工智能技術(shù)防范人工智能風(fēng)險(xiǎn)，提高人工智能治理的技術(shù)能力。宣言呼吁，推動(dòng)制定和采納具有廣泛國(guó)際共識(shí)的人工智能的倫理指南與規(guī)范，引導(dǎo)人工智能技術(shù)的健康發(fā)展，防止其被誤用、濫用或惡用。