6月12日,小紅書在北京舉辦“打擊虛假”治理開放日。開放日上,公布了2025年上半年社區(qū)虛假內(nèi)容治理成果:通過建設(shè)虛假內(nèi)容全鏈路治理體系,共處置虛假筆記320萬篇,處置虛假人設(shè)賬號1萬個,處置虛假低質(zhì)AIGC筆記60萬篇;通過持續(xù)建設(shè)“同質(zhì)化識別”能力,全面提升處置手段,升級機器對抗,共封禁批量造假黑灰產(chǎn)賬號超1000萬個。
在持續(xù)主動治理之外,小紅書也積極鼓勵用戶參與共治。在6月11日的中國網(wǎng)絡(luò)文明大會上,小紅書總編輯許磊介紹,小紅書持續(xù)優(yōu)化舉報機制,今年上半年,虛假信息的平均審核時長同比降低25%;接下來,還將通過改進產(chǎn)品等措施,吸引更多用戶參與到虛假內(nèi)容的共治中。
參與開放日的中國人民大學(xué)新聞學(xué)院傳播學(xué)副教授董晨宇表示,應(yīng)對當(dāng)前互聯(lián)網(wǎng)虛假內(nèi)容快速增長與傳播需要“立體式”的行動,其中不僅包括平臺的努力,更包括全社會的共同參與。“虛假和打假之間注定一直是一種動態(tài)制衡。在這場持久戰(zhàn)中,如果真實想要穩(wěn)居上風(fēng),公眾媒介素養(yǎng)的提升是關(guān)鍵。”
高效打假、精準(zhǔn)鑒假:320萬虛假筆記被處置
“鋼鐵保姆”機器人引發(fā)市民搶購?假資訊!霸總創(chuàng)業(yè)三年成功買下8000平辦公樓?假人設(shè)!知名藝人在視頻中推薦“三無”化妝品?AIGC造假!
小紅書虛假內(nèi)容治理負(fù)責(zé)人蒂法介紹,虛假不實內(nèi)容、虛假人設(shè)和AIGC造假是當(dāng)前社區(qū)打擊“虛假”的三個重點。
(小紅書虛假內(nèi)容治理負(fù)責(zé)人蒂法介紹治理策略)
在虛假不實內(nèi)容治理方面,小紅書建構(gòu)了“前置攔截、事中追蹤、分析回掃”的“前中后”全鏈路治理體系;上線了內(nèi)容信息量模型,筆記摘要提取模型,AIGC謠言診斷模型等15個識別大模型,并建立了真實信源庫和謠言庫,實現(xiàn)了對虛假內(nèi)容的實時攔截和批量回掃,半年共處置虛假筆記320萬篇。
在虛假人設(shè)治理方面,小紅書設(shè)置了內(nèi)容前置審核制度,采用了賬號關(guān)系挖掘分析策略,并上線多個圖像及視頻識別模型,通過綜合筆記內(nèi)容和賬號信息進行分析判斷,對虛假人設(shè)進行精準(zhǔn)打擊,半年共處置虛假人設(shè)賬號 1萬個。
在AIGC技術(shù)爆發(fā)式發(fā)展的當(dāng)下,虛假低質(zhì)AIGC內(nèi)容也成為治理的重中之重。小紅書不斷加大對AIGC識別模型的研發(fā)投入,進一步提高識別精準(zhǔn)度,減少虛假低質(zhì)AIGC內(nèi)容的曝光。同時,平臺對AIGC生成內(nèi)容做主動標(biāo)識工作,提升信息透明度。半年共處置治理虛假低質(zhì)AIGC筆記60萬篇。
“虛假是社區(qū)的癌細(xì)胞,決不能放任其發(fā)展危害健康生態(tài)。”蒂法表示,小紅書將打擊“虛假” 作為長期治理重點,持續(xù)投入人力和技術(shù)力量,不斷提升治理效果。
封號1000萬,“批量造假”黑灰產(chǎn)賬號迎來最嚴(yán)治理
開放日上,小紅書黑灰產(chǎn)賬號治理負(fù)責(zé)人必行用一組治理成果數(shù)據(jù)展示了社區(qū)對黑灰產(chǎn)賬號堅定打擊的態(tài)度:2024年11月中,小紅書黑灰產(chǎn)賬號治理專項開啟;專項開展1個月,封禁126萬黑灰產(chǎn)賬號;開展3個月,封禁320萬黑灰產(chǎn)賬號;開展7個月,封禁超1000萬黑灰產(chǎn)賬號。
必行介紹,黑灰產(chǎn)組織批量制造黑灰產(chǎn)賬號,通過虛假、重復(fù)、低質(zhì)內(nèi)容騙取用戶流量;養(yǎng)號漲粉后,又會發(fā)布虛假、惡意營銷內(nèi)容,或者銷售灰色商品,提供灰色服務(wù),甚至從事違法活動,從而實現(xiàn)不當(dāng)牟利。從建號到養(yǎng)號再到牟利,黑灰產(chǎn)賬號進行全鏈路批量造假,對社區(qū)生態(tài)和秩序的危害十分巨大。
“因此我們開展了小紅書史上最嚴(yán)黑灰產(chǎn)賬號治理行動,對黑灰產(chǎn)堅決打擊,絕不讓步半分。”必行說。
(小紅書黑灰產(chǎn)賬號治理負(fù)責(zé)人必行分享黑灰產(chǎn)賬號的特征)
為了應(yīng)對黑灰產(chǎn)賬號的數(shù)量巨大、隱蔽深、變體快和對抗強等挑戰(zhàn),治理團隊從識別能力和處置能力兩方面重點做功。
在識別能力方面:上線50多個模型,建立了以“同質(zhì)化識別”為核心的風(fēng)控體系,將對黑灰產(chǎn)的識別召回率提升了72%。在處置能力方面,不斷優(yōu)化處置策略,極大提升黑灰產(chǎn)作惡成本;全面升級機器對抗,用機器判罰大規(guī)模代替人工判罰,大幅提高對黑灰產(chǎn)賬號的處置量級及時效性。
在線上治理的同時,小紅書案件調(diào)查團隊還向多地警方和市場監(jiān)督部門積極提供線索,對黑灰產(chǎn)團伙進行線下打擊。目前有7起案件在偵辦中,后續(xù)警方和市場監(jiān)督部門將根據(jù)調(diào)查結(jié)果采取各種處罰措施,涉及犯罪行為的還將進一步追求刑事責(zé)任。
持續(xù)優(yōu)化舉報機制,鼓勵用戶參與共治
開放日上,小紅書審核培訓(xùn)師給現(xiàn)場觀眾上了一節(jié)“打假”志愿者培訓(xùn)課,展示了近10個不同類型的造假案例,引發(fā)了觀眾的鑒假熱潮。大家踴躍發(fā)言,一起“來找茬”。在場多位觀眾表示,會將學(xué)到的鑒假方法應(yīng)用到對虛假內(nèi)容的鑒別和舉報中。
(治理開放日上,現(xiàn)場觀眾熱情參與鑒假互動。)
小紅書副總裁許磊在前一天的中國網(wǎng)絡(luò)文明大會上也介紹了小紅書較為完善的虛假信息舉報制度。小紅書開通監(jiān)管網(wǎng)站、APP客戶端舉報、舉報熱線和舉報郵箱四種途徑。在常態(tài)化轉(zhuǎn)發(fā)重要辟謠稿件的基礎(chǔ)上,搭建起辟謠專區(qū),為用戶提供一站式辟謠信息服務(wù);官方賬號“薯管家”每周定期發(fā)布辟謠筆記。
小紅書還持續(xù)優(yōu)化舉報機制,鼓勵用戶參與共治。許磊介紹,2025年上半年,小紅書虛假信息的平均審核時長同比降低25%。下半年,小紅書還將進一步簡化用戶舉報流程,實現(xiàn)一個頁面、一次提交即完成舉報,讓更多用戶低成本、無門檻地參與到虛假信息的共治中來。
許磊表示,小紅書是“普通人創(chuàng)作內(nèi)容”的社區(qū),“分享真實的內(nèi)容”和“真誠分享”不僅是平臺用戶自發(fā)形成的內(nèi)容創(chuàng)作準(zhǔn)則,也是小紅書的社區(qū)價值觀。因此,打擊虛假,提倡真實是小紅書的必然選擇。小紅書還設(shè)立了“真誠分”賬號體系,從分享動機、內(nèi)容質(zhì)量多方面判斷賬號是否真誠,從而對真誠的創(chuàng)作者給予流量傾斜,對虛假低質(zhì)的雜音噪聲進行壓制。
(中國人民大學(xué)傳播學(xué)教授董晨宇分享應(yīng)對虛假信息的傳播規(guī)律和應(yīng)對策略)
中國人民大學(xué)傳播學(xué)教授董晨宇從傳播學(xué)角度分享了虛假信息的傳播規(guī)律與應(yīng)對策略。董晨宇說:“應(yīng)對當(dāng)前互聯(lián)網(wǎng)虛假內(nèi)容快速增長與傳播,需要各平臺積極打擊,全社會共同參與。虛假內(nèi)容無法完全被消滅,但可以通過科普、舉報、公眾傳播學(xué)素養(yǎng)的提升,將虛假控制在較低的水平。”