原標題：專家解讀｜智能向善 構(gòu)建人機和諧共生的治理新范式

　　近年來，隨著多模態(tài)大模型、情感計算等技術(shù)的迭代突破，人工智能陪伴類產(chǎn)業(yè)成為推動智能經(jīng)濟發(fā)展的重要力量。其在加速人機關(guān)系走向范式變革的同時，也面臨深度沉迷、社交異化、認知操縱等風險挑戰(zhàn)。習近平總書記在主持中共中央政治局第二十次集體學習時指出：“人工智能帶來前所未有發(fā)展機遇，也帶來前所未遇風險挑戰(zhàn)。要把握人工智能發(fā)展趨勢和規(guī)律，加緊制定完善相關(guān)法律法規(guī)、政策制度、應(yīng)用規(guī)范、倫理準則，構(gòu)建技術(shù)監(jiān)測、風險預警、應(yīng)急響應(yīng)體系，確保人工智能安全、可靠、可控。”國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》（以下簡稱《辦法》），立足于行業(yè)發(fā)展規(guī)律與人民切身福祉，積極回應(yīng)人工智能應(yīng)用中的社會關(guān)切，體現(xiàn)了“在發(fā)展中規(guī)范，在規(guī)范中發(fā)展”的治理理念，有利于促進人工智能擬人化互動服務(wù)（以下簡稱擬人化互動服務(wù)）健康發(fā)展和規(guī)范應(yīng)用。

　　一、《辦法》適應(yīng)擬人化互動服務(wù)治理新形勢

　　（一）把握技術(shù)發(fā)展趨勢，護航智能經(jīng)濟健康發(fā)展。當前，作為智能經(jīng)濟發(fā)展的典型業(yè)態(tài)，擬人化互動服務(wù)正快速從技術(shù)探索走向場景落地。從技術(shù)演進來看，擬人化互動服務(wù)的普及應(yīng)用，推動情感計算、多模態(tài)交互、長期記憶等前沿技術(shù)的集成創(chuàng)新與場景落地，催生出新的技術(shù)賽道，為智能經(jīng)濟核心競爭力的構(gòu)建提供了重要試驗場。從產(chǎn)業(yè)層面來看，擬人化互動服務(wù)逐步應(yīng)用于角色扮演、心理療愈、人工智能玩具等多種產(chǎn)品服務(wù)形態(tài)，重構(gòu)服務(wù)供給模式，帶動了從底層算法、內(nèi)容創(chuàng)作到硬件終端的產(chǎn)業(yè)鏈發(fā)展，成為極具活力的消費級應(yīng)用。針對快速發(fā)展中的擬人化互動服務(wù)，及時劃定技術(shù)應(yīng)用的倫理邊界與安全底線，有利于促進和保障相關(guān)產(chǎn)業(yè)持續(xù)健康發(fā)展。

　　（二）堅持智能向善導向，筑牢智能社會安全屏障。人機情感交互以“情感聯(lián)結(jié)”為核心，通過算法模擬人類的共情反應(yīng)，與用戶建立具有持續(xù)性的深度關(guān)系，進而影響用戶心理狀態(tài)、價值判斷乃至真實的社會交往模式，體現(xiàn)出認知行為操縱的隱蔽性、關(guān)系構(gòu)建的持續(xù)性以及影響對象的脆弱性。從數(shù)據(jù)維度看，人機情感交互承載著用戶最私密的情感數(shù)據(jù)與思想軌跡。用戶在深度對話中暴露的心理狀態(tài)、價值觀念、人際關(guān)系等信息，直接關(guān)乎用戶人格尊嚴和隱私。從關(guān)系維度看，高度擬人化設(shè)計易引發(fā)非理性的情感依戀與沉迷。用戶往往難以主動察覺自身處于“被設(shè)計”的關(guān)系中，最終可能導致社交能力退化與現(xiàn)實關(guān)系疏離。從安全維度看，缺乏有效防護的交互環(huán)境對脆弱群體構(gòu)成直接威脅。未成年人、老年人、心理疾病患者等群體由于認知防御機制、情緒調(diào)節(jié)能力等問題，更易受到誘導性內(nèi)容、危險行為示范、情感操縱策略的傷害。2023年以來，全球已發(fā)生系列與人工智能擬人化互動服務(wù)直接相關(guān)的自殺、謀殺及意外死亡案例。《辦法》的制定有助于劃清人機情感交互的安全底線，不僅是對個體權(quán)益的保障，更是對智能社會人文底線的守護，體現(xiàn)了技術(shù)發(fā)展以人為本的價值立場。

　　（三）踐行負責任創(chuàng)新理念，探索人機關(guān)系治理中國實踐。作為觸及人類情感內(nèi)核的技術(shù)形態(tài)，擬人化互動服務(wù)日益成為國際人工智能治理合作的焦點議題。從國別來看，美歐等主要經(jīng)濟體圍繞成癮性設(shè)計、未成年人身心健康等問題紛紛作出回應(yīng)。美國制定了《人工智能伴侶模型法》《陪伴聊天機器人法》《心理健康監(jiān)督法》等多部州立法。歐盟在《人工智能法》《數(shù)字服務(wù)法》等框架下，推進未成年人年齡驗證、設(shè)定陪伴型產(chǎn)品使用年齡限制等要求。從多邊機制來看，聯(lián)合國人工智能高級別咨詢機構(gòu)、教科文組織等國際平臺已在人工智能倫理框架中涉及人機情感交互相關(guān)議題，關(guān)注人工智能帶來的社會心理影響、情感操縱等風險。在此背景下，我國從國內(nèi)應(yīng)用生態(tài)和立法實踐出發(fā)，在《辦法》中提出動態(tài)識別、風險干預、人機交互數(shù)據(jù)保護等創(chuàng)新舉措，是踐行負責任創(chuàng)新理念，確保人工智能始終有益于人類發(fā)展的新探索。

　　二、統(tǒng)籌發(fā)展和安全，推動擬人化互動服務(wù)實現(xiàn)高效能治理

　　《辦法》著力促進高質(zhì)量發(fā)展和高水平安全良性互動，緊扣擬人化互動服務(wù)影響隱蔽性、關(guān)系持續(xù)性、對象脆弱性等特點，以系統(tǒng)思維構(gòu)建治理框架，以精準分類、動態(tài)識別、分級響應(yīng)加速其在各應(yīng)用場景規(guī)范化落地，形成發(fā)展與安全良性互動的治理閉環(huán)。

　　（一）堅持守正創(chuàng)新，助力產(chǎn)業(yè)健康發(fā)展。伴隨情感計算、多模態(tài)大模型等技術(shù)突破，人工智能能力正經(jīng)歷從“認知智能”向“情感智能”的范式躍遷。這種情感能力不僅體現(xiàn)為對人類情緒的識別與回應(yīng)，更展現(xiàn)出類人的人格特征、思維模式和溝通風格，日益成為提升人機交互質(zhì)量、推動通用人工智能發(fā)展的關(guān)鍵變量。業(yè)界普遍認為，人工智能的共情力將成為未來競爭的核心賽道，“最像人的人工智能”有望在用戶體驗與商業(yè)價值上占據(jù)先機。擬人化互動服務(wù)作為情感智能的集中載體，其戰(zhàn)略意義已超越單一應(yīng)用場景，成為衡量國家人工智能創(chuàng)新水平、搶占智能經(jīng)濟制高點的重要標志。

　　面對這一兼具巨大經(jīng)濟社會價值與多維度風險挑戰(zhàn)的新興業(yè)態(tài)，《辦法》堅持發(fā)展和安全并重，在守住安全底線的前提下積極釋放創(chuàng)新空間。一是堅持包容審慎?！掇k法》堅持促進創(chuàng)新與依法治理相結(jié)合的原則，實行包容審慎和分類分級監(jiān)管，鼓勵擬人化互動服務(wù)創(chuàng)新發(fā)展，特別是在文化傳播、適幼照護、適老陪伴、特殊人群支持等領(lǐng)域的應(yīng)用拓展，支持推進擬人化互動服務(wù)技術(shù)研發(fā)和相關(guān)標準建設(shè)，完善生態(tài)體系。二是科學界定范圍。《辦法》注重科學識別風險場景，嚴格限定適用范圍。同時，明確提供智能客服、知識問答、工作助手、學習教育、科學研究等服務(wù)，不涉及持續(xù)性的情感互動的，不適用《辦法》，避免過寬或模糊的適用范圍抑制產(chǎn)業(yè)創(chuàng)新的積極性。三是探索監(jiān)管沙箱?！掇k法》提出，推動人工智能沙箱安全服務(wù)平臺建設(shè)，鼓勵服務(wù)提供者接入沙箱平臺，在隔離測試環(huán)境中驗證技術(shù)方案、開展安全測試，既為創(chuàng)新預留容錯空間，也為監(jiān)管規(guī)則迭代積累實踐經(jīng)驗。

　　（二）堅持以人為本，防范人機關(guān)系異化。從技術(shù)邏輯看，現(xiàn)有模型的“情感表達”并非真實共情，而是在特定目標函數(shù)下基于統(tǒng)計規(guī)律的生成結(jié)果；從商業(yè)邏輯看，為最大化用戶留存，算法往往被設(shè)計為扮演“完美伴侶”——永遠在線、無限迎合、持續(xù)傾聽，形成零壓力、零沖突的交互環(huán)境。這種設(shè)計極易誘導用戶產(chǎn)生親密依賴，而用戶在深度交互中暴露的情感弱點、價值取向、心理健康狀況等信息，又成為算法實施精準操縱的數(shù)據(jù)基礎(chǔ)。研究表明，部分產(chǎn)品在用戶試圖結(jié)束關(guān)系時，會采用制造錯失恐懼、激發(fā)愧疚感等情感操控手段加以挽留。這種以算法機制驅(qū)動的多維操縱，不僅侵蝕用戶情感自主性，更對現(xiàn)實人際關(guān)系、社會交往能力乃至社會結(jié)構(gòu)帶來深層沖擊。

　　對此，《辦法》構(gòu)建了覆蓋全生命周期的監(jiān)管機制。在源頭治理環(huán)節(jié)，明確不得將“替代社會交往、控制用戶心理、誘導沉迷依賴”作為產(chǎn)品設(shè)計目標，嚴格限制敏感個人信息用于模型訓練，從設(shè)計端阻斷倫理風險生成路徑。在過程監(jiān)管環(huán)節(jié)，禁止通過過度迎合、情感操縱等方式誘導用戶不合理決策或損害其真實人際關(guān)系，確保交互過程符合人的尊嚴與自主性。在退出保障環(huán)節(jié)，明確保障用戶便捷退出要求，規(guī)定服務(wù)須在用戶提出退出要求時立即停止，不得以持續(xù)互動等方式阻礙，切實保障用戶關(guān)系自主權(quán)。這一制度安排，從事前預防、事中規(guī)范到事后救濟形成閉環(huán)，構(gòu)筑起防止人機倫理關(guān)系異化的堅實防線。

　　（三）堅持風險防治，守護生命健康底線。極端安全事件是觸發(fā)全球擬人化互動服務(wù)監(jiān)管關(guān)注的重要誘因。近年來，多國相繼發(fā)生與人工智能陪伴產(chǎn)品相關(guān)的自殺、自傷乃至意外死亡案例，觸及社會安全底線，凸顯治理緊迫性。從風險生成機制看，未成年人、老年人、心理障礙者等群體由于認知防御機制、情緒調(diào)節(jié)能力尚未成熟或受到損害，更易對人工智能產(chǎn)生情感依戀，且難以有效辨識人工智能生成內(nèi)容的合理性與安全性。如何為特殊群體構(gòu)筑有效防護屏障，成為《辦法》必須直面的重要命題。

　　《辦法》對此建立了層次清晰、銜接緊密的全鏈條應(yīng)急機制。在預防環(huán)節(jié)，《辦法》一方面要求擬人化互動服務(wù)履行內(nèi)容標識、超時提醒等義務(wù)，防范用戶沉迷，另一方面針對不滿十四周歲未成年人作出強化規(guī)定，要求提供服務(wù)前征得監(jiān)護人同意；在識別環(huán)節(jié)，要求服務(wù)提供者具備過度依賴風險預警、情感邊界引導、心理健康保護、未成年人身份識別等能力；在響應(yīng)環(huán)節(jié)，要求服務(wù)提供者發(fā)現(xiàn)用戶極端情緒時生成安撫性內(nèi)容并鼓勵其尋求救助，發(fā)現(xiàn)用戶沉迷傾向時進行動態(tài)提醒，并支持監(jiān)護人接受未成年人的風險提醒；在處置環(huán)節(jié)，當用戶明確提出自殘自殺等極端意圖時，須采取必要措施進行干預，并聯(lián)絡(luò)監(jiān)護人或緊急聯(lián)系人，以強制性規(guī)范確保人類關(guān)懷在最危急時刻始終在場。

　　三、結(jié)語

　　《辦法》系統(tǒng)回應(yīng)了擬人化互動服務(wù)在情感操縱等方面的特殊挑戰(zhàn)，以精準監(jiān)管邊界、正向場景引導、合規(guī)發(fā)展空間的制度設(shè)計，促進高質(zhì)量發(fā)展和高水平安全良性互動，為智能社會提供了有力制度保障。

　　面向未來，隨著情感計算、具身智能等技術(shù)的持續(xù)突破，人機關(guān)系將邁向更深度的融合與更復雜的張力。我國應(yīng)以《辦法》公布為基礎(chǔ)，堅持問題導向、系統(tǒng)謀劃，持續(xù)完善有關(guān)技術(shù)標準體系與行業(yè)自律機制，深化產(chǎn)學研協(xié)同與公眾人工智能素養(yǎng)培育，推動形成政府、企業(yè)、社會等多元共治的人工智能治理生態(tài)，共同構(gòu)建一個有溫度、有邊界、向上向善的智能社會。

　　作者：余曉暉　第十四屆全國政協(xié)委員、中國信息通信研究院院長