人工智能看走眼的圖像都長(cháng)什么樣？

威廉·吉布森(William Gibson)寫(xiě)于 2010 年的人工小說(shuō)《零歷史(Zero Histor??y)》中有這樣一個(gè)場(chǎng)景：一ヾ(′▽?zhuān)??個(gè)角色穿著(zhù)迄今為止「最丑陋的 T-shirt」展開(kāi)了危險的突襲，T-shirt 可使其對閉路電視(CCTV)隱身?？醋咴谀釥?middot;斯蒂芬森(N??eal Stephen??son)的圖像小說(shuō)《雪崩(Snow Crash)》中，一個(gè)位圖圖像被用來(lái)傳遞可擾亂黑客大腦頻率的都長(cháng)病毒??，借助計算機增???強的什樣視覺(jué)神經(jīng)以腐蝕目標者的心智。諸如此類(lèi)的人工故事形成了一種循環(huán)往復的科幻比喻：一張普通的圖像具有??摧毀計算機的能力。

不管怎樣，看走這個(gè)概念并非完全虛構。圖像去年，都長(cháng)研究者僅僅帶上花式眼鏡(patterned glasses)，什樣一個(gè)商用面部識(shi)別系統就做出了錯誤識別。人工花式眼鏡就是看走在鏡框上貼上迷幻色彩的貼紙，??花式的圖像扭曲和曲線(xiàn)在人看來(lái)是隨機的，但計算機卻要在帶有花(╯‵□′)╯式眼鏡的都長(cháng)人臉上分辨出五官，而且這些人臉的什樣輪廓很相似?；ㄊ窖坨R不(bu)會(huì )像吉布森「最丑陋的 T-shirt」那般將其從閉環(huán)電視中抹去，但是它可使人工智能(′ω｀)錯認為你是教皇，或者其他人。

帶有花式眼鏡的研究者以及人臉識別系統的對應識別結(jie)果。

這(′?_?`)些類(lèi)型的?襲擊包含在被稱(chēng)為「對抗機器學(xué)習(??adversarial machine learning)」(之所以如此稱(chēng)呼是由于對手??之類(lèi)的存在，在該情況中，對手是黑客)大量網(wǎng)絡(luò )安全類(lèi)(′▽?zhuān)?)別中。在這一領(lǐng)域，「最丑陋的 T-shirt」以及腐蝕大腦的位圖的科幻比喻表現為「對抗性圖像」或者「愚弄式圖(′_｀)像」，但是對抗性襲擊具有形式，如音頻甚至是文本。2010 年早期(qi)，大量的團隊各自獨立發(fā)現了這一現象的存在，他們通常把可對數據進(jìn)行分類(lèi)的機器學(xué)習??系統「分類(lèi)器」作為目標，比(bi)如谷歌圖片(pian)中的算法可為你的照片打上食物、假期和寵物等標簽。

對于人而言( ?ヮ?)，愚弄式圖像就像是一個(gè)隨機的扎染圖案或者突發(fā)的電視噪點(diǎn);但是對圖像分類(lèi)器而??言，它卻可以自信的說(shuō)出：「看，那是一只長(cháng)臂猿??」或者「一個(gè)如此亮眼的紅色摩托車(chē)」。就像花邊眼鏡使人??臉識別系統發(fā)生了錯誤識別，分類(lèi)器處理了混亂到人類(lèi)永遠無(wú)法識別的圖像視覺(jué)特征。

這些圖案可以各種方式繞過(guò)人工智能系統，并對未來(lái)的安全系統、工業(yè)機器人和自動(dòng)駕駛汽車(chē)等需要人工智能識別物體的領(lǐng)域有重大意義。2015 年有關(guān)??(′?｀*)愚弄式圖像論文的聯(lián)合作者 Jeff Clune 告訴 The Verge：「??想象一下你身處軍隊，正在使用一個(gè)自動(dòng)鎖定目標的武器系統，你絕不希望敵人把一張對??抗性圖像放在了醫院的樓頂，系統鎖定并攻擊了醫院;或者你正在使用同一個(gè)系統追蹤敵人，你也絕不喜歡被愚弄式圖像騙了，[并] 開(kāi)始用你的無(wú)人機緊盯著(zhù)錯誤的目標車(chē)輛?！?/p>

愚弄式圖像以及人工智能識別的對應結果。

這些情節是假設的，但卻非常具有可行性，如果繼續沿著(zhù)當前的人ヽ(′▽?zhuān)?ノ工??智能路徑發(fā)展。Clune 說(shuō)：「沒(méi)錯，這(╬?益?)是一個(gè)研究社區需要共同面對的大問(wèn)題?！狗烙鶎剐怨?╥_╥)擊的挑戰有兩方面：我們不僅不確定如何有效地反擊現有攻擊，而且更多高效的ヽ(′▽?zhuān)?/攻擊變體在持續增長(cháng)。Clune 及其聯(lián)合作者 Jason Yosinski 和 Anh Nguyen 描述的愚弄式圖ヾ(′▽?zhuān)??像容易被人類(lèi)發(fā)現，它們就像是視覺(jué)幻覺(jué)或者早期的網(wǎng)絡(luò )藝術(shù)，滿(mǎn)是斑駁的色彩與圖案重疊，但是有更為微妙的方法運用它們。

攝動(dòng)可像 Instagram 濾鏡一般被用于圖像

有一類(lèi)被研究者稱(chēng)為「攝動(dòng)(perturbation)」的對抗性圖像幾乎對人眼不可見(jiàn)，它作為照片表面上的像素漣漪(ripp??le of pix( ???)els)而存在，并可像 In(???)stagr(′-ι_-｀)am 濾鏡一般被用于圖像。這些攝動(dòng)發(fā)現于 2013 年，在 2014 年一篇名為「解釋和??利用對抗性實(shí)例(Explaining and Harnessing Adversarial Examples)(鏈接：)」的論文中，研究者演示了攝動(dòng)的靈活性。攝動(dòng)有能力愚弄一整套不同的分類(lèi)器，即使沒(méi)有被訓練來(lái)攻擊的分類(lèi)器。一項名為「通用對抗性攝動(dòng)(Universal Adversarial Pertu??rbations)((′▽?zhuān)?鏈接：)」改進(jìn)研??究通過(guò)成功地在大量不同的神經(jīng)網(wǎng)絡(luò )上測試攝動(dòng)，使得這一特征明確起來(lái)，上個(gè)月引起了眾多研究者們的關(guān)注。

左邊是原始圖像，中間是攝動(dòng)，右邊被攝動(dòng)的圖像。

使用愚弄式圖像黑進(jìn)人工智能系統有其局限性：第一，需要花費更多時(shí)間制作加擾的圖像，使得人工智能系統認為??其看到的是一張特殊的圖像而不是產(chǎn)生了隨機錯誤。第二，為了在起初生成攝動(dòng)，你??經(jīng)常——但不總是——需要獲取你要操控的系統的內部代碼。第三ヾ(′?｀)?，(◎_◎;)攻擊并不是一貫高ヽ(′?｀)ノ效。就像論文「通用對抗性攝動(dòng)」所述，在一個(gè)網(wǎng)絡(luò )中成功率為 90% 的攝動(dòng)也許在另外ヽ(′ー｀)ノ一個(gè)網(wǎng)絡(luò )之中只有 50-60% 的成功率。(也就是說(shuō)，??如果一個(gè)存在問(wèn)題的分類(lèi)器正在指引一ヽ(′▽?zhuān)?ノ輛自動(dòng)駕駛半式?卡車(chē)，甚至 50% 的錯誤率都是災難性的。)

被攝動(dòng)的圖像，以及對應的人工智能識別的結果。

更困( ?° ?? ?°)難的是，這類(lèi)攻擊奏效或失敗的原因并不清晰。一種解釋是對抗性(′?｀*)圖像利用一種被稱(chēng)為「決策邊界」的(╯°□°）╯︵ ┻━┻特征，其在很多人工智能系統中都存在。這些邊界是不可見(jiàn)的規則，它們調控了系統如何判別，如，獅子和豹子之間的不同。一個(gè)(′_｀)很簡(jiǎn)單的只區分這兩類(lèi)動(dòng)物的人工智能項目將最終創(chuàng )造出一個(gè)意境地圖。想像在一個(gè) X-Y 平面內：右上角分(????)布著(zhù)所有該人工智能系(′ω｀*)統見(jiàn)過(guò)的豹子，而左下角分布著(zhù)獅子。將(?????)這兩個(gè)部分分開(kāi)的直線(xiàn)——獅子變成豹子，豹子變成獅子的邊界——稱(chēng)作決策邊界。

Clune 說(shuō)道，對于分類(lèi)來(lái)說(shuō)，決策邊界方法的難題是它太絕對，太武斷?！改銓ι窠?jīng)網(wǎng)絡(luò )所做的所有事情僅僅是訓練它們在各類(lèi)數據間畫(huà)線(xiàn)，而不是??對它們建模以識別出它??們代表了豹子還是獅子?！瓜襁@樣的系統可以通過(guò)一個(gè)確定的、(′▽?zhuān)?用各種方式操作。為了愚弄獅子-豹子分析器，你可以拍一張獅子的照片??并把它的特征推到奇特的極端，但仍然讓它變現為正常的獅子：給它如同挖掘裝備的，和校車(chē)一般大小的爪子，以及如同燃燒的太陽(yáng)一般的長(cháng)鬃毛。對人類(lèi)來(lái)說(shuō)，這是無(wú)法識別的，但對一個(gè)(╯°□°)╯檢查決策邊界的人工智能系統來(lái)(??ヮ?)?*:???說(shuō)，這只是一只極端的獅子罷了。

據我們所知，對抗性圖像從未在真實(shí)世界形成過(guò)危害。但谷歌大腦的研究科學(xué)家，聯(lián)合著(zhù)述了《解釋和利用對抗性實(shí)例》的 Ian Goodfellow 認為這種潛在的威脅從未被忽視?！秆芯可鐓^，尤其是谷歌，正在嚴肅地對待這個(gè)問(wèn)題，」Goodfellow 說(shuō)道?！覆⑶椅覀冋χ铝τ诎l(fā)展更好的防御措施?！勾罅拷M織，如伊隆·馬斯克創(chuàng )立的 open='open'AI，目前正在進(jìn)行或發(fā)起關(guān)于對抗性攻擊的研究。目前的結論是暫時(shí)沒(méi)有新技術(shù)，但??關(guān)于這些攻擊在??真實(shí)世界中能造成多大威脅，研究者們并未達成共(′?ω?`)識。例如，已??存在大量攻擊自動(dòng)駕駛汽車(chē)的方法，它們并不依賴(lài)于計算復雜的攝動(dòng)。

Papernot 認為，廣泛存在于人工智能系統中的不足并不令人驚訝——分類(lèi)器被訓練成「擁有好的平均表現，而并不總是針對最壞情況的表現——這是典型的從安全角度出發(fā)的觀(guān)點(diǎn)?！挂簿褪钦f(shuō)，比起它的平均表現，研究者較少擔心系統發(fā)生災難性的錯誤?！敢环N處理棘手的決策邊界的方法，」Clune 說(shuō)道，「是使得影像分類(lèi)器知曉它們無(wú)法分類(lèi)什么目標，(??-)?而不是試圖將數據擬合進(jìn)某一類(lèi)?！?/p>

與此同時(shí)，對抗性攻擊也激發(fā)了更深層與概念化的思考。相同的愚弄式圖像可以擾亂谷歌、Mobileye 或 Facebook 獨立開(kāi)發(fā)的人工智能系統的「心智」，整體上揭示了當代人工智能特有的不足。

「仿佛所有這些不同的ヽ(′ー｀)ノ網(wǎng)絡(luò )圍坐一起，互相訴說(shuō)為什么這些愚蠢的人類(lèi)認識不到這個(gè)噪點(diǎn)圖里實(shí)際上是一個(gè)海星，」Clune 說(shuō)道?！改窍喈斢腥で疑衩?所有這些網(wǎng)絡(luò )都同意這些瘋狂和非自然的影像實(shí)際上屬于同類(lèi)。那種程度的收斂真讓人驚訝?！?/p>

對 Clune 的同事┐(′?｀)┌ Jason Yosinski 來(lái)說(shuō)，在愚弄式圖像上的研究表明人工智能和自然界創(chuàng )造的智能之間存在令人驚訝的共同點(diǎn)。他注意到人工智能及它們的決策邊界所犯的同類(lèi)??錯誤也存在于動(dòng)物世界中，在這里動(dòng)物們被「超常刺激」所愚弄。

這些刺激是自然界現象的人工版??，慫恿動(dòng)物違背它們的天性。這一行為首先于二十世紀五十年代被發(fā)現，當時(shí)研究者們用它使得鳥(niǎo)類(lèi)忽視它們??自己的蛋而更偏愛(ài)顏色更鮮艷的贗品，或者使得紅肚棘魚(yú)┐(′д｀)┌將垃圾當作競爭對手而進(jìn)行爭斗。只要有大的紅肚繪在垃圾上面，魚(yú)就將與其爭斗。一些人曾認為人類(lèi)成癮行為，如快餐和色情文學(xué)，也是超常刺激的例子。鑒于此，人們可以認為人工智能犯的錯??誤是自然(ran)而然的。但遺憾的是，我們需要人工智(′?ω?`)能有能力避免這些錯誤，表現得更好。

原文：

【本文是51CTO專(zhuān)欄機構機器之心的原創(chuàng )譯文(wen)，微信公眾號“機器之心( id: almos??thuman2014)&(╬ ò﹏ó)rdquo;】