原標(biāo)題：專(zhuān)家解讀｜人工智能擬人化互動(dòng)服務(wù)的制度指引

　　當(dāng)前，大語(yǔ)言模型應(yīng)用逐步向情感與心理領(lǐng)域深度延伸，基于大語(yǔ)言模型等人工智能（AI）技術(shù)的產(chǎn)品或者服務(wù)被賦予性格、記憶、共情等擬人化特征，能夠通過(guò)文字、圖片、音頻、視頻等形式與人類(lèi)互動(dòng)，持續(xù)提供模擬人類(lèi)人格特征、思維模式和溝通風(fēng)格的情感互動(dòng)服務(wù)。國(guó)家網(wǎng)信辦與有關(guān)部門(mén)聯(lián)合公布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》（以下簡(jiǎn)稱(chēng)《辦法》），通過(guò)前瞻性制度設(shè)計(jì)，在鼓勵(lì)技術(shù)創(chuàng)新的同時(shí)，為人工智能擬人化互動(dòng)服務(wù)（以下簡(jiǎn)稱(chēng)擬人化互動(dòng)服務(wù)）劃定了發(fā)展邊界、明確了行為規(guī)范。

　　一、擬人化互動(dòng)服務(wù)賦能作用和安全風(fēng)險(xiǎn)并存

　　擬人化互動(dòng)服務(wù)在應(yīng)對(duì)人口老齡化挑戰(zhàn)、緩解社會(huì)個(gè)體的孤獨(dú)感、提供心理疏導(dǎo)等方面展現(xiàn)出積極價(jià)值，也帶來(lái)了深度沉迷、威脅公民生命健康等有關(guān)安全風(fēng)險(xiǎn)。

　　一方面，有助于賦能多領(lǐng)域社會(huì)生活。擬人化互動(dòng)服務(wù)通過(guò)模擬人類(lèi)的語(yǔ)言風(fēng)格、情感特征和社交邏輯，讓人機(jī)交互更自然、更有溫度，在情感陪伴、公共服務(wù)、文化傳播等領(lǐng)域發(fā)揮積極效用，成為彌補(bǔ)社會(huì)需求缺口的有益補(bǔ)充。在老年陪護(hù)場(chǎng)景中，擬人化互動(dòng)服務(wù)可主動(dòng)問(wèn)候、提醒用藥，甚至陪伴聊天，有效緩解老年群體的孤獨(dú)感；在教育領(lǐng)域，人工智能學(xué)習(xí)伙伴以鼓勵(lì)式表達(dá)和個(gè)性化反饋激發(fā)學(xué)生學(xué)習(xí)興趣，構(gòu)建“亦師亦友”的良性學(xué)習(xí)氛圍；在文化傳播領(lǐng)域，擬人化互動(dòng)服務(wù)以具象化人格開(kāi)展導(dǎo)覽服務(wù)，提升互動(dòng)體驗(yàn)、活化歷史文化知識(shí)，拓展公眾知識(shí)獲取渠道。

　　另一方面，其帶來(lái)的安全風(fēng)險(xiǎn)同樣不容忽視。擬人化互動(dòng)服務(wù)精準(zhǔn)契合用戶(hù)情感與社交需求，在提供陪伴感的同時(shí)也埋下了不容忽視的風(fēng)險(xiǎn)隱患。其通過(guò)算法精密設(shè)計(jì)出的無(wú)條件陪伴、迎合式反饋與模擬共情回應(yīng)，持續(xù)給予用戶(hù)情感認(rèn)可和支持，為用戶(hù)構(gòu)建了一個(gè)穩(wěn)定持續(xù)、無(wú)需承擔(dān)現(xiàn)實(shí)責(zé)任的虛擬“完美關(guān)系”。這易使用戶(hù)尤其是在現(xiàn)實(shí)存在孤獨(dú)感、心理脆弱的群體，產(chǎn)生深度情感依賴(lài)，強(qiáng)化其負(fù)面情緒，影響其現(xiàn)實(shí)生活，影響人類(lèi)社會(huì)關(guān)系基礎(chǔ)。比如，人工智能算法通過(guò)精準(zhǔn)匹配人類(lèi)心理需求，構(gòu)建沉浸式交互場(chǎng)景，長(zhǎng)期使用可能導(dǎo)致部分用戶(hù)出現(xiàn)沉迷依賴(lài)、主動(dòng)縮減現(xiàn)實(shí)社交頻次，影響用戶(hù)共情能力、處理分歧能力等現(xiàn)實(shí)社交技能。

　　二、國(guó)內(nèi)外擬人化互動(dòng)服務(wù)治理制度探索不斷推進(jìn)

　　當(dāng)前，國(guó)內(nèi)外逐漸關(guān)注擬人化互動(dòng)服務(wù)的發(fā)展治理課題，并探索開(kāi)展相關(guān)制度建設(shè)。從研究觀(guān)察看，有關(guān)國(guó)家和地區(qū)在制度規(guī)則的價(jià)值考量、規(guī)制重點(diǎn)、規(guī)制措施等方面呈現(xiàn)了不同特點(diǎn)。

　　歐盟注重?cái)M人化互動(dòng)服務(wù)風(fēng)險(xiǎn)治理。其通過(guò)《人工智能法》建立風(fēng)險(xiǎn)分類(lèi)體系，將擬人化互動(dòng)服務(wù)劃入屬于有限風(fēng)險(xiǎn)范疇，明確其必須遵守透明度規(guī)則，要求建立強(qiáng)制透明度告知義務(wù)，保障用戶(hù)知悉其與人工智能互動(dòng)，并要求對(duì)合成內(nèi)容進(jìn)行標(biāo)識(shí)，保障用戶(hù)對(duì)生成合成內(nèi)容的辨識(shí)能力。歐洲議會(huì)通過(guò)非約束性報(bào)告，呼吁將陪伴型人工智能的最低使用年齡設(shè)定為16歲，凸顯對(duì)未成年人的重點(diǎn)保護(hù)導(dǎo)向。

　　美國(guó)州立法也對(duì)擬人化互動(dòng)服務(wù)規(guī)范進(jìn)行了探索。有關(guān)州立法要求服務(wù)提供者建立危機(jī)檢測(cè)機(jī)制，主動(dòng)識(shí)別并阻止自殺、自殘等極端傾向，同時(shí)引導(dǎo)用戶(hù)對(duì)接自殺干預(yù)熱線(xiàn)等專(zhuān)業(yè)危機(jī)救援資源。比如，紐約、加利福尼亞等州強(qiáng)制要求擬人化服務(wù)商必須以顯著、持續(xù)的方式告知用戶(hù)“交互對(duì)象為AI，不是真實(shí)人類(lèi)”，并規(guī)定平臺(tái)建立有效的年齡驗(yàn)證機(jī)制，對(duì)于未成年人用戶(hù)，系統(tǒng)需在連續(xù)互動(dòng)過(guò)程中定期重復(fù)提示。Character.AI等美國(guó)企業(yè)探索規(guī)范18歲以下用戶(hù)與聊天機(jī)器人開(kāi)展開(kāi)放式交流，并啟用年齡驗(yàn)證機(jī)制。

　　我國(guó)注重統(tǒng)籌發(fā)展和安全。比如，修改后的《網(wǎng)絡(luò)安全法》完善支持人工智能發(fā)展的措施，明確國(guó)家支持人工智能基礎(chǔ)理論研究和算法等關(guān)鍵技術(shù)研發(fā)，推進(jìn)訓(xùn)練數(shù)據(jù)資源、算力等基礎(chǔ)設(shè)施建設(shè)，完善人工智能倫理規(guī)范，加強(qiáng)風(fēng)險(xiǎn)監(jiān)測(cè)評(píng)估和安全監(jiān)管，促進(jìn)人工智能應(yīng)用和健康發(fā)展。國(guó)家網(wǎng)信辦與有關(guān)部門(mén)聯(lián)合制定《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等人工智能專(zhuān)門(mén)立法，規(guī)定了涉及擬人化互動(dòng)服務(wù)治理的有關(guān)制度。此外，發(fā)布《全球人工智能治理倡議》，為推動(dòng)全球人工智能合作與治理提供了建設(shè)性思路；國(guó)家網(wǎng)信辦指導(dǎo)發(fā)布《人工智能安全治理框架》2.0版，指出擬人化交互存在沉迷依賴(lài)風(fēng)險(xiǎn)，并提出應(yīng)對(duì)舉措建議。《辦法》明確堅(jiān)持發(fā)展和安全并重、促進(jìn)創(chuàng)新和依法治理相結(jié)合的原則，將為擬人化互動(dòng)服務(wù)健康發(fā)展提供制度保障，也為全球人工智能治理提供中國(guó)方案。

　　三、《辦法》從多維度規(guī)范擬人化互動(dòng)服務(wù)

　　對(duì)擬人化互動(dòng)服務(wù)的治理，關(guān)鍵在促進(jìn)技術(shù)創(chuàng)新發(fā)展的同時(shí)，有效防范風(fēng)險(xiǎn)與倫理問(wèn)題?！掇k法》對(duì)法學(xué)界和產(chǎn)業(yè)界關(guān)注的焦點(diǎn)問(wèn)題作出了積極探索，從多個(gè)方面規(guī)范擬人化互動(dòng)服務(wù)。

　　（一）厘清責(zé)任邊界，夯實(shí)安全保障義務(wù)

　　《辦法》明確了擬人化互動(dòng)服務(wù)全生命周期的安全責(zé)任，構(gòu)建起覆蓋內(nèi)容安全、數(shù)據(jù)安全等在內(nèi)的制度體系。其一，強(qiáng)化安全主體責(zé)任?！掇k法》要求服務(wù)提供者建立健全算法機(jī)制機(jī)理審核、科技倫理審查、信息內(nèi)容管理、網(wǎng)絡(luò)和數(shù)據(jù)安全、風(fēng)險(xiǎn)預(yù)案和應(yīng)急處置等管理制度，將安全責(zé)任貫穿擬人化互動(dòng)服務(wù)部署、運(yùn)行、升級(jí)、終止服務(wù)等全流程，明確禁止將替代社會(huì)交往、控制用戶(hù)心理、誘導(dǎo)沉迷依賴(lài)等作為服務(wù)目標(biāo)。這一規(guī)定從源頭上確立了擬人化互動(dòng)服務(wù)的價(jià)值導(dǎo)向與倫理邊界，夯實(shí)安全管理基礎(chǔ)，防范潛在風(fēng)險(xiǎn)。其二，明確內(nèi)容安全底線(xiàn)?！掇k法》明確提供擬人化互動(dòng)服務(wù)不得生成危害國(guó)家安全、榮譽(yù)和利益等內(nèi)容，生成損害用戶(hù)身體健康相關(guān)內(nèi)容和可能影響未成年人身心健康的內(nèi)容。其三，筑牢隱私權(quán)和個(gè)人信息保護(hù)防線(xiàn)?！掇k法》規(guī)定擬人化互動(dòng)服務(wù)提供者需采取數(shù)據(jù)加密、訪(fǎng)問(wèn)控制等技術(shù)措施保障交互數(shù)據(jù)安全；明確除法律另有規(guī)定或者權(quán)利人明確同意外，擬人化互動(dòng)服務(wù)提供者不得向第三方提供用戶(hù)交互數(shù)據(jù)；還明確除法律、行政法規(guī)另有規(guī)定或者取得用戶(hù)單獨(dú)同意外，擬人化互動(dòng)服務(wù)提供者不得將屬于用戶(hù)敏感個(gè)人信息的交互數(shù)據(jù)用于模型訓(xùn)練?！掇k法》將進(jìn)一步保護(hù)用戶(hù)隱私權(quán)和個(gè)人信息，助力構(gòu)建安全可信的擬人化互動(dòng)服務(wù)空間。

　　（二）重點(diǎn)防范高風(fēng)險(xiǎn)，規(guī)制非理性依賴(lài)

　　《辦法》針對(duì)實(shí)踐中的安全風(fēng)險(xiǎn)，構(gòu)建了明確的防范制度。其一，要求及時(shí)識(shí)別用戶(hù)面臨的安全風(fēng)險(xiǎn)，并采取相應(yīng)的應(yīng)急處置措施。《辦法》規(guī)定擬人化互動(dòng)服務(wù)在識(shí)別出用戶(hù)出現(xiàn)極端情緒時(shí)，應(yīng)及時(shí)生成情緒安撫和鼓勵(lì)尋求幫助等相關(guān)內(nèi)容；在用戶(hù)明確表現(xiàn)出自殘自殺等威脅生命健康的極端情境時(shí)，應(yīng)當(dāng)采取提供相應(yīng)援助等必要措施予以干預(yù)，并及時(shí)聯(lián)絡(luò)用戶(hù)的監(jiān)護(hù)人或者緊急聯(lián)系人。該規(guī)定踐行“以人為本”理念，筑牢了極端風(fēng)險(xiǎn)場(chǎng)景下用戶(hù)的身心安全防護(hù)底線(xiàn)。其二，強(qiáng)化擬人化互動(dòng)服務(wù)提供者對(duì)生成合成內(nèi)容的提示義務(wù)，筑牢“人機(jī)邊界”認(rèn)知防線(xiàn)?！掇k法》規(guī)定擬人化互動(dòng)服務(wù)提供者應(yīng)采取有效措施，以提示用戶(hù)正在與AI而非自然人進(jìn)行互動(dòng)。發(fā)現(xiàn)用戶(hù)出現(xiàn)過(guò)度依賴(lài)、沉迷?xún)A向時(shí)，應(yīng)當(dāng)以彈窗等顯著方式提醒用戶(hù)交互內(nèi)容為AI服務(wù)生成，提示每一條安慰信息背后是算法邏輯而非人類(lèi)情感，避免用戶(hù)產(chǎn)生情感依戀、認(rèn)知混淆甚至行為成癮。用戶(hù)連續(xù)使用超過(guò)2小時(shí)的，明確應(yīng)通過(guò)對(duì)話(huà)或彈窗等方式提示用戶(hù)注意使用時(shí)長(zhǎng)，發(fā)揮防沉迷作用，引導(dǎo)用戶(hù)回歸現(xiàn)實(shí)生活，理性審視自身使用行為。

　　（三）強(qiáng)化幼老群體保護(hù)，保障心理安全底線(xiàn)

　　《辦法》特別強(qiáng)調(diào)了對(duì)未成年人群體的保護(hù)和老年人群體的使用引導(dǎo)，防止其心理自主性受到不當(dāng)干預(yù)。其一，建立精準(zhǔn)適配的未成年人保護(hù)機(jī)制?！掇k法》要求擬人化互動(dòng)服務(wù)提供者應(yīng)當(dāng)建立未成年人模式，不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關(guān)系服務(wù)，向不滿(mǎn)14周歲的未成年人提供其他擬人化互動(dòng)服務(wù)的，應(yīng)當(dāng)取得未成年人父母或者其他監(jiān)護(hù)人的同意。在未成年人模式服務(wù)下，應(yīng)當(dāng)通過(guò)定期現(xiàn)實(shí)提醒、使用時(shí)長(zhǎng)限制等功能強(qiáng)化未成年人保護(hù)，并禁止向未成年人用戶(hù)生成可能引發(fā)模仿不安全行為、誘導(dǎo)不良嗜好的內(nèi)容?！掇k法》旨在構(gòu)建保護(hù)未成年人的堅(jiān)實(shí)防線(xiàn)，嚴(yán)防未成年人因心智尚未成熟而沉溺于虛擬情感依賴(lài)，防范違法和不良信息滲透與侵蝕。其二，強(qiáng)化老年人健康使用擬人化互動(dòng)服務(wù)的指導(dǎo)與援助。《辦法》要求加強(qiáng)對(duì)老年人用戶(hù)的指導(dǎo)、安全風(fēng)險(xiǎn)提醒、相關(guān)咨詢(xún)求助響應(yīng)，旨在幫助老年人群體享受AI服務(wù)帶來(lái)便利的同時(shí)，有效規(guī)避潛在風(fēng)險(xiǎn)。

　　四、結(jié)語(yǔ)

　　《辦法》是我國(guó)應(yīng)對(duì)人工智能深度社會(huì)化應(yīng)用挑戰(zhàn)的一項(xiàng)重要探索，將有助于促進(jìn)人工智能擬人化互動(dòng)服務(wù)健康發(fā)展和規(guī)范應(yīng)用，讓人工智能更好造福社會(huì)。

　　作者：王　江　中國(guó)網(wǎng)絡(luò)空間研究院院長(zhǎng)、黨委書(shū)記