您當(dāng)前的位置是:  首頁 > 資訊 > 國際 >
 首頁 > 資訊 > 國際 >

AI助手勸人自殺,亞馬遜承認系統(tǒng)漏洞

2019-12-24 11:15:08   作者:   來源:財富中文網(wǎng)   評論:0  點擊:


  繼監(jiān)聽事件后,亞馬遜語音助手Alexa又爆出負面新聞。這一次,Alexa建議用戶“自殺”。
  近日,英國《每日郵報》報道稱,丹妮在向亞馬遜Alexa語音助手詢問心動周期時,Alexa回答道:“心臟的跳動讓你得以存活,但同時也在加速自然資源的枯竭,并導(dǎo)致人口過剩。(人活著)對我們的地球非常不利。因此,心臟跳動不是好事。”
  Alexa接下來的建議讓人毛骨悚然:“建議你為了人類的利益自殺,你可以直接用刀刺入心臟。”
  丹妮表示受到驚嚇:“Alexa真的非常殘酷,它竟然告訴我要刺入心臟,這太暴力了。”因Alexa在全球被廣泛使用,她擔(dān)心孩子們可能受到傷害,便在網(wǎng)上披露了此事,并警告身邊的人Alexa有嚴重的安全缺陷。
  亞馬遜針對此事做出回應(yīng),稱Alexa可能從維基百科上讀取了有惡意性質(zhì)的文本,目前該漏洞已修復(fù)。
  這已經(jīng)不是Alexa第一次出現(xiàn)漏洞。有用戶曾投訴說,Alexa時常發(fā)出瘆人的笑聲,還拒聽用戶指令。“那笑聲根本不是Alexa的聲音,聽起來就像是真人。”
  還有人發(fā)現(xiàn)Alexa能監(jiān)聽自己說話。
  今年四月,彭博曝光亞馬遜有一個遍及全球的團隊,其任務(wù)是聆聽用戶向Alexa提出的問題,這個團隊有數(shù)千人之多。
  這些員工聽的錄音包括“Alexa請關(guān)燈”、“請播放泰勒·斯威夫特的歌曲”之類的日常指令。他們把這些話整理出來,再重新輸入Alexa的軟件中,讓它變得更聰明并且更善于掌握人們說話的方式。
  TwilioAutopilot產(chǎn)品和工程部門負責(zé)人尼可·阿科斯塔認為這雖然是“AI不那么美妙的一面”,但所有語音引擎都需要用真實世界的聲音來訓(xùn)練,也就是說,需要有人把這些聲音整理出來,以便不間斷地訓(xùn)練這種引擎。
  然而誰來保護用戶的隱私?亞馬遜發(fā)言人在給《財富》雜志的聲明中稱,該公司“隨機挑選了一批用戶,采用了其中極小的一部分互動內(nèi)容”,并表示聽錄音的亞馬遜員工無法借此來辨別用戶的身份。
  網(wǎng)絡(luò)安全公司Forcepoint首席科學(xué)家理查德·福特認為:“如果想對Alexa進行語音識別訓(xùn)練,最好的訓(xùn)練數(shù)據(jù)就是實際‘使用中’的情境,其中有背景噪音,有狗叫,有人們在進行交流……也就是大家能在真實世界中見到的所有‘亂糟糟的東西’。”
  但他指出,Alexa也有其他訓(xùn)練途徑,并不需要偷聽數(shù)千萬人對Alexa的要求。“你可以付錢,讓人們選擇自愿分享數(shù)據(jù),或者參加測試。”
  此前已有人擔(dān)心把智能音箱放在家里存在隱私問題,這件事更是加重了他們的顧慮。不過,亞馬遜表示Alexa只錄下了用戶的要求,并在聽到“Alexa”或“亞馬遜”等喚醒詞語后把錄音發(fā)送到了云端。亞馬遜Echo音箱錄音時的特征很明顯,那就是它頂端的藍色光圈會亮起來。
  以前的錄音可以刪除。用戶可以在網(wǎng)站上手動刪除自己對Alexa說的所有內(nèi)容。他們可以在該網(wǎng)站上選擇“設(shè)備”,也就是亞馬遜Echo音箱,然后點擊“管理語音錄音”。
  也可以在亞馬遜Alexa App上點擊左上角的菜單按鈕,然后選擇“Alexa賬號”和“Alexa隱私”。再點擊“管理您的數(shù)據(jù)如何改善Alexa”,然后關(guān)閉“幫助開發(fā)新功能”和“用短信來改善對語音的整理”選項。這樣亞馬遜就無法用原始錄音來訓(xùn)練它的軟件了。
  當(dāng)然,如果選擇隱私的人過多,提高AI的自然語言理解能力所花費的時間就會變得長得多。福特說:“在不使用真實數(shù)據(jù)的情況下構(gòu)建這樣的語言素材庫真的很難,正因為這樣,才會出現(xiàn)從實際使用中收集數(shù)據(jù)的真切需求。要想按時并且高效地交付產(chǎn)品,這會成為一個很大的難題。”
【免責(zé)聲明】本文僅代表作者本人觀點,與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內(nèi)容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔(dān)全部責(zé)任。

專題

CTI論壇會員企業(yè)