39歲的李娟枝(Lee yeonjee)是韓國(guó)一家公益組織的發(fā)起人和CEO。她正在和蔓延全國(guó)的“深度偽造性犯罪”戰(zhàn)斗。


有分析指出,把女性面部合成到不雅視頻中并大肆傳播的“深度偽造性犯罪”,已讓韓國(guó)女性“陷入恐慌”,類似事件會(huì)讓女性失去日常生活的安全感。


今年5月,首爾大學(xué)畢業(yè)生涉嫌利用深度偽造技術(shù)換臉合成色情照片和視頻,在社交媒體“電報(bào)”上建立了近200個(gè)網(wǎng)絡(luò)聊天室,共參與制作、傳播約1700份非法照片和視頻。


3個(gè)月后,韓國(guó)仁荷大學(xué)再次發(fā)生深度偽造性犯罪的案例。超過1200名參與者在“電報(bào)”上合成深度偽造色情圖像,并利用這些內(nèi)容對(duì)女性進(jìn)行敲詐和羞辱。8月下旬,韓國(guó)媒體報(bào)道稱,“電報(bào)”上出現(xiàn)大量與全國(guó)多地學(xué)校相關(guān)的聊天群組,用戶上傳他們認(rèn)識(shí)女性的照片,其他用戶會(huì)將這些照片轉(zhuǎn)換成深度偽造色情內(nèi)容,還有針對(duì)特定受害者的“羞辱房”。


初步調(diào)查顯示,受害者80%為女性,犯罪活動(dòng)已經(jīng)在初高中生等未成年人、大學(xué)生、教師和護(hù)士等群體中蔓延,甚至連女性軍人都是受害人。


這樣的新聞極大地沖擊了李娟枝,她看到有人在社交媒體平臺(tái)X上發(fā)布消息調(diào)查“羞辱房”,找人幫忙揭露內(nèi)部情況。李娟枝假裝自己是男性用戶,潛入其中,收集信息。她發(fā)現(xiàn)即便是在免費(fèi)的房間里,非法深度偽造色情內(nèi)容的傳播也已經(jīng)非常嚴(yán)重。


李娟枝將收集到的視頻和截圖集中匯集給一起工作的同伴,由她統(tǒng)一轉(zhuǎn)交給調(diào)查人員。略顯安慰的是,李娟枝聽說(shuō),她們提交的材料幫助在部分案件中確認(rèn)了涉案人員的身份。


“羞辱房”里的內(nèi)容讓李娟枝十分不適,甚至一度惡心到無(wú)法入睡,但她仍在繼續(xù)行動(dòng)。一方面,在線上開展請(qǐng)?jiān)富顒?dòng),要求強(qiáng)化懲戒標(biāo)準(zhǔn);另一方面,在街頭舉行抗議活動(dòng)。“政府必須采取堅(jiān)定的立場(chǎng)來(lái)打擊犯罪,執(zhí)行‘零容忍’的懲治法律?!崩罹曛φf(shuō)。


2020年,李娟枝(圖中)創(chuàng)建了名為“unniecar”的女性駕駛項(xiàng)目,提供講座和書籍,旨在幫助初學(xué)駕駛的女性獲得安全準(zhǔn)確的信息。受訪者供圖


線上線下的抗議


9月6日晚上7點(diǎn),首爾夜幕降臨,淅淅瀝瀝下著小雨,李娟枝按照約定的時(shí)間來(lái)到了鐘路區(qū)普信閣附近。過了一會(huì)兒,抗議活動(dòng)正式開始,團(tuán)體代表和個(gè)人率先上臺(tái)宣讀了各自的聲明,隨后,她們一行五六百人舉著黑底白字的標(biāo)語(yǔ),走上街頭。


當(dāng)晚參與抗議的人包括現(xiàn)任教師、性教育組織、婦女團(tuán)體和在校學(xué)生,她們高喊著“讓我們過上沒有恐懼和焦慮的生活”“監(jiān)管推廣深度偽造性犯罪的平臺(tái)”“我們將推翻歧視女性的深度偽造”等口號(hào)。


抗議持續(xù)了約兩個(gè)小時(shí)。李娟枝說(shuō),她和同伴們還計(jì)劃9月21日在惠化地鐵站舉行第二場(chǎng)抗議,各地已經(jīng)開始聯(lián)系租借大巴車,屆時(shí)會(huì)統(tǒng)一運(yùn)送各地的抗議者到首爾來(lái)。


線下的街頭抗議與韓國(guó)女性在線上社交媒體的發(fā)聲遙相呼應(yīng)。自深度造假性犯罪的新聞報(bào)道引發(fā)韓國(guó)輿論重視以來(lái),由于擔(dān)心此次事件會(huì)被輕輕揭過,許多韓國(guó)女性在社交媒體上積極發(fā)聲,使用“學(xué)校數(shù)字性犯罪”“公開深度偽造性犯罪者”“保護(hù)女性”等話題標(biāo)簽,推動(dòng)“深度偽造性犯罪”的新聞得到全球關(guān)注,還有多名韓國(guó)女性通過中國(guó)互聯(lián)網(wǎng)發(fā)出求助信息。


“目前來(lái)看,這次‘標(biāo)簽抗議’活動(dòng)取得了不錯(cuò)的成效。9月1日,包括‘公開深度偽造性犯罪者’在內(nèi)的標(biāo)簽在社交媒體平臺(tái)X上實(shí)現(xiàn)了爆發(fā),一共發(fā)布了60多萬(wàn)條帖子,全球?qū)崟r(shí)趨勢(shì)排名第二,也占據(jù)了韓國(guó)實(shí)時(shí)趨勢(shì)的前兩位。”李娟枝說(shuō)。


線上線下聯(lián)動(dòng)造勢(shì)外,李娟枝還開始調(diào)查研究涉及深度偽造性犯罪的處罰法案。其中,“以傳播為目的”幾個(gè)字尤其引起她的注意。有一篇分析文章認(rèn)為,難以懲罰這些深度偽造性犯罪者的原因之一,在于很難證明他們有傳播意圖。


聯(lián)想到此前韓國(guó)發(fā)生的“N號(hào)房”事件,除了少數(shù)關(guān)鍵罪犯,大部分人都沒有受到懲罰。李娟枝意識(shí)到,正是現(xiàn)存法律體系存在漏洞,才讓大規(guī)模深度偽造性犯罪成為可能。


在李娟枝潛入所謂的“羞辱房”期間,她發(fā)現(xiàn)盡管每個(gè)群組房間略有不同,但參與者通常需要提供一名女性的10張照片才能進(jìn)入群組或合成一張照片,這為深度偽造提供了新的受害目標(biāo)。部分群組房間會(huì)免費(fèi)合成一次,接下來(lái)需要參與者提供“加密貨幣”或邀請(qǐng)新的男性進(jìn)入房間,以繼續(xù)使用該服務(wù)。還有群組房間會(huì)張貼出“需提供300張女教師的照片”“高中生優(yōu)惠”等告示。


“羞辱房”也會(huì)想辦法確認(rèn)其參與者的性別。有的群組房間會(huì)要求想入群的人將1韓元存入某個(gè)銀行賬號(hào),通過銀行賬戶存款名確認(rèn)新入群人士是否為男性。


一些參與者會(huì)被收取費(fèi)用以合成深度偽造圖像或視頻,還有人通過銷售深度偽造內(nèi)容獲利,“電報(bào)”本身也會(huì)在用戶較多的房間里產(chǎn)生廣告收益?!八麄兙拖穹缸锝M織一樣分享利潤(rùn)?!崩罹曛φf(shuō),他們是由利益驅(qū)動(dòng)的組織,不存在“被動(dòng)觀眾”的概念。


由此,她產(chǎn)生了向國(guó)會(huì)請(qǐng)?jiān)傅南敕?。李娟枝要求將這些群組房間中的所有參與者都視為犯罪組織成員,并受到懲罰。因?yàn)轫n國(guó)的法律只允許臥底調(diào)查涉及兒童及青少年的案件,她同樣希望請(qǐng)?jiān)钢贫饶軌蚋倪M(jìn),允許臥底調(diào)查涉及成年人的性犯罪案件。


韓國(guó)女性自發(fā)將“深度偽造性犯罪”相關(guān)內(nèi)容翻譯成不同語(yǔ)言在全球傳播。新京報(bào)動(dòng)新聞視頻截圖


人工智能加持下“輕松的深度偽造”


位于深度偽造性犯罪丑聞中心的是即時(shí)通訊應(yīng)用軟件“電報(bào)”。


這是一款加密的消息應(yīng)用程序,用戶通常是匿名的,房間可以設(shè)置為“保密”模式,內(nèi)容會(huì)被迅速刪除,不留任何痕跡。原本“電報(bào)”這一設(shè)計(jì)是想要保護(hù)用戶的言論隱私,結(jié)果卻成了犯罪行為猖獗的主要場(chǎng)所。


用于制作深度造假內(nèi)容的技術(shù)也不難獲得。美國(guó)紐約州立大學(xué)布法羅分校計(jì)算機(jī)科學(xué)與工程系教授呂思偉(Siwei Lyu)對(duì)新京報(bào)記者解釋稱,“deepfake”一詞本身就是深度學(xué)習(xí)(deep learning)和虛假媒體(fake media)的混合詞,指的是使用依賴于深度神經(jīng)網(wǎng)絡(luò)模型的生成式人工智能模型創(chuàng)建的多媒體文本,其中包括文本、音頻、圖像與視頻。生成式人工智能系統(tǒng)可以在大量無(wú)標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練,這些模型已足以生成令人信服的內(nèi)容。因此,技術(shù)門檻被極大降低。


“有了人工智能技術(shù),可以輕松、快速且廉價(jià)地生產(chǎn)深度偽造的視聽材料,它本可以用于更有益的方面,例如電影、零售行業(yè)等?!焙商m蒂爾堡大學(xué)法律、技術(shù)與社會(huì)研究所副教授巴特·范德·斯魯特(Bart van der Sloot)說(shuō),不幸的是,深度偽造技術(shù)最常見的應(yīng)用是色情內(nèi)容,“尤其當(dāng)年輕女孩成為受害者,這可能導(dǎo)致災(zāi)難性的結(jié)果?!?/p>


2019年一份調(diào)查深度偽造用途的報(bào)告發(fā)現(xiàn),96%的線上深度偽造內(nèi)容與色情有關(guān),這一數(shù)字仍有增加的趨勢(shì)。


以目前來(lái)看,打擊深度偽造也存在不少障礙。斯魯特發(fā)現(xiàn),生成深度偽造色情內(nèi)容時(shí),受害者本人往往并不知情,而且內(nèi)容也只有通過網(wǎng)絡(luò)得到傳播后,才會(huì)被外界發(fā)現(xiàn)并采取行動(dòng)。網(wǎng)絡(luò)上有如此多的深度偽造色情內(nèi)容,執(zhí)法部門也很難評(píng)估這些內(nèi)容是否得到了當(dāng)事人的同意,其中究竟是真人還是人工智能生成的人。即便找到犯罪者,確認(rèn)受害者并刪除材料,這時(shí)傷害往往已經(jīng)造成,一切都太晚了。


李娟枝認(rèn)為,事后追蹤只是“亡羊補(bǔ)牢”,應(yīng)該從源頭加強(qiáng)平臺(tái)層面監(jiān)管,“如果犯罪分子隱藏在一個(gè)匿名平臺(tái)之中,那么這個(gè)平臺(tái)就將成為犯罪的溫床?!?/p>


針對(duì)具體措施,呂思偉認(rèn)為,短期而言,應(yīng)出臺(tái)系列政策和法規(guī),禁止或限制旨在產(chǎn)生有害影響的深度偽造內(nèi)容。長(zhǎng)期解決方案還是應(yīng)回歸技術(shù)本身,需要進(jìn)一步開發(fā)用于自動(dòng)檢測(cè)、刪除或跟蹤深度偽造內(nèi)容的技術(shù)。


深度偽造性犯罪引發(fā)韓國(guó)社會(huì)討論后,當(dāng)?shù)貢r(shí)間9月2日,韓國(guó)警察廳國(guó)家搜查本部本部長(zhǎng)禹鐘壽在例行記者會(huì)上表示,警方以涉嫌“幫助深度偽造性犯罪”著手對(duì)社交媒體平臺(tái)“電報(bào)”實(shí)施立案前調(diào)查。“電報(bào)”自己也發(fā)聲承諾將積極打擊平臺(tái)上的有害內(nèi)容。


始終未解決的“厭女癥”


事件之外,外界開始追問為何韓國(guó)成為深度偽造的重災(zāi)區(qū)。


專注于身份盜竊保護(hù)的美國(guó)初創(chuàng)公司“Security Hero”在2023年發(fā)布的一份全球深度偽造報(bào)告顯示,韓國(guó)是深度偽造色情內(nèi)容的最主要目標(biāo),韓國(guó)歌手和女演員占此類深度偽造作品中人物的53%。


韓國(guó)的深度偽造性犯罪也日益猖獗,2021年156起,2022年160起,去年增至180起。而今年1月至7月,涉深度偽造的性犯罪案件已達(dá)297起。


觀察人士認(rèn)為,看似突然爆發(fā)的深度偽造丑聞,可能一直潛伏于表面之下,反映了長(zhǎng)期存在的性別歧視問題。


在經(jīng)合組織(OECD)國(guó)家中,韓國(guó)女性受教育程度最高,但勞動(dòng)參與率卻最低。韓國(guó)的性別工資差距在35個(gè)經(jīng)合組織成員國(guó)中位列第一,差距為31.2%。


出于“只是覺得有趣”“用熟人的照片更真實(shí)”等原因,深度偽造變得像娛樂游戲一樣蔓延。有分析稱,無(wú)論是深度偽造性犯罪,還是韓國(guó)女性會(huì)在衛(wèi)生間或更衣室遭遇微型隱藏?cái)z像機(jī)偷拍,這些都是伴隨技術(shù)發(fā)展而出現(xiàn)的最新形式的“厭女癥”。


這與李娟枝的觀察也不謀而合。


她最初關(guān)注的女性議題并不是深度偽造性犯罪,而是駕駛領(lǐng)域中的性別平等話題。


李娟枝發(fā)現(xiàn),韓國(guó)女性在學(xué)習(xí)開車期間常會(huì)遭遇歧視問題。例如,當(dāng)女性想要拿到一類駕照時(shí)(注:一種可以開大車的高級(jí)駕照),她們會(huì)被勸說(shuō)改換二類駕照。即便順利拿到駕照,女性也不容易獲得處理交通事故、汽車保險(xiǎn)、汽車修理等方面的信息。女性司機(jī)往往會(huì)因信息不足而對(duì)駕駛感到害怕,駕駛技術(shù)欠佳的女性也會(huì)被蔑稱為“金女士”。


在韓國(guó)性別平等與家庭事務(wù)部的幫助下,2020年,李娟枝創(chuàng)建了名為“unniecar”的女性駕駛項(xiàng)目,提供講座和書籍,旨在幫助初學(xué)駕駛的女性在沒有“男性說(shuō)教”的情況下,獲得安全準(zhǔn)確的信息。這幾年來(lái),李娟枝關(guān)注的女性社會(huì)議題外延也在不斷擴(kuò)大,強(qiáng)調(diào)保護(hù)女性權(quán)利。


李娟枝認(rèn)為,從駕駛歧視,到深度偽造性犯罪。韓國(guó)社會(huì)中存在的“厭女癥”一直沒有得到有效解決。不僅如此,“厭女癥”還被政治利用,進(jìn)一步引發(fā)了男性群體的怨恨,成為政客招攬選票的一種方式,“如今,有大量十幾歲和二十幾歲的年輕男性在物化和疏遠(yuǎn)女性,而非建立平等自然的兩性關(guān)系。正是這樣的環(huán)境讓‘N號(hào)房’和深度偽造性犯罪事件得以出現(xiàn)?!?/p>


深度偽造丑聞曝光后,84個(gè)韓國(guó)女性權(quán)利組織簽署了一份聲明,直指歧視才是癥結(jié)所在,“造成這種現(xiàn)象的根本原因是結(jié)構(gòu)性的性別歧視,解決辦法是實(shí)現(xiàn)性別平等。”


面對(duì)層出不窮的案件和社會(huì)團(tuán)體的呼吁,韓國(guó)總統(tǒng)尹錫悅出面回應(yīng)稱,依靠匿名惡意利用深度偽造技術(shù)是犯罪行為,希望有關(guān)部門展開徹底調(diào)查,徹底根除這種數(shù)字技術(shù)犯罪。


韓國(guó)政府也有計(jì)劃加強(qiáng)對(duì)深度偽造性犯罪行為的處罰。韓國(guó)執(zhí)政黨國(guó)民力量黨政策委員會(huì)主席金相勛表示,國(guó)民力量黨和韓國(guó)政府計(jì)劃推進(jìn)立法,將散布虛假視頻等犯罪行為的最高刑罰從5年提高至7年。


不過,李娟枝對(duì)韓國(guó)政府的承諾仍有疑慮,擔(dān)心行動(dòng)會(huì)否落到實(shí)處。


這份疑慮也并非毫無(wú)依據(jù)。2022年競(jìng)選總統(tǒng)期間,尹錫悅一直否認(rèn)韓國(guó)存在結(jié)構(gòu)性性別歧視,將低生育率現(xiàn)象歸咎于女權(quán)主義,聲稱要對(duì)虛假的性侵報(bào)告給予更嚴(yán)厲的懲罰。尹錫悅上臺(tái)后,韓國(guó)政府還推動(dòng)將“性別平等”一詞從學(xué)校教科書上刪除,取消了反對(duì)日常性別歧視項(xiàng)目的經(jīng)費(fèi)。


“長(zhǎng)期以來(lái),我沒有看到政府出臺(tái)解決性別歧視的政策,反而他們是在破壞性別平等行動(dòng)取得的進(jìn)展?!崩罹曛Ρ硎?,韓國(guó)出生率已經(jīng)降到世界最低水平之一,如果不認(rèn)真解決“厭女癥”,性犯罪還將繼續(xù)上升,如果性犯罪不受到嚴(yán)厲懲罰,未來(lái)罪犯利用新技術(shù)犯下更復(fù)雜的罪行,那時(shí)韓國(guó)社會(huì)根本無(wú)法準(zhǔn)備好。


斯魯特表示,從根本上應(yīng)對(duì)深度偽造性犯罪,各環(huán)節(jié)聯(lián)動(dòng)或缺一不可。政府需要將應(yīng)對(duì)工作作為優(yōu)先級(jí),有明確的懲罰標(biāo)準(zhǔn),設(shè)立標(biāo)桿案件,若有必要可以專門建立一支應(yīng)對(duì)深度偽造性犯罪的小隊(duì)。學(xué)校和工作場(chǎng)所也需要展開有關(guān)“非同意網(wǎng)絡(luò)色情”的教育。網(wǎng)絡(luò)提供服務(wù)者需要監(jiān)控平臺(tái),阻止傳播任何深度偽造色情內(nèi)容,警告用戶一旦通過他們的服務(wù)平臺(tái)傳播深度偽造色情內(nèi)容,他們將被永久移除。


9月7日,李娟枝告訴新京報(bào)記者,她向國(guó)會(huì)提出的請(qǐng)?jiān)敢勋@得所需的5萬(wàn)人同意,韓國(guó)政府有關(guān)部門有義務(wù)對(duì)請(qǐng)?jiān)缸龀龌貞?yīng)。


球已被踢到韓國(guó)政府一側(cè),“我很期待他們接下來(lái)的行動(dòng)?!崩罹曛φf(shuō)。


新京報(bào)記者 欒若曦

編輯 胡杰 校對(duì) 張彥君