中國福建網(wǎng)

              當(dāng)前位置:中國福建網(wǎng) > 國內(nèi) > 正文

              AI安全問題不容忽視 360發(fā)布《AI安全風(fēng)險白皮書》

              作者: 編輯 來源:互聯(lián)網(wǎng) 發(fā)布時間:2018-02-23

              ┊文章閱讀:

              眾所周知,深度學(xué)習(xí)是人工智能技術(shù)的核心賣點(diǎn):通過模擬人腦機(jī)制,機(jī)器也能夠像人那樣,自主學(xué)習(xí)海量高深的知識,從而獲得常人無法企及的技能,幫助人類實(shí)現(xiàn)更為曼妙和科幻的場景。不過,憧憬雖然美好,但是隨著一批深度學(xué)習(xí)應(yīng)用逐漸開始變成現(xiàn)實(shí),安全問題也漸漸顯現(xiàn)出來。

              日前,360安全研究院結(jié)合過去一年對深度學(xué)習(xí)系統(tǒng)安全性的詳細(xì)研究,出具了《AI安全風(fēng)險白皮書》。白皮書從深度學(xué)習(xí)系統(tǒng)軟件實(shí)現(xiàn)的復(fù)雜度、深度學(xué)習(xí)系統(tǒng)模型的逃逸攻擊和深度學(xué)習(xí)系統(tǒng)數(shù)據(jù)流中的安全威脅三個角度,詳細(xì)解讀了AI系統(tǒng)的安全威脅。

              當(dāng)前人工智能應(yīng)用面臨多方威脅

              2017年以來,每次有關(guān)人工智能的新聞報道都會讓很多網(wǎng)友由衷的感嘆。比如谷歌AlphaGo與李世石、柯潔等國際一流圍棋大師對弈,將這些圍棋一流好手“挑落馬下”。像圍棋這種復(fù)雜多變的棋盤游戲,幾乎代表了人類的頂級智慧。AlphaGo能夠在千變?nèi)f化的棋局中,選擇對自己更為有利的步數(shù),繼而贏得棋局,靠的便是深度學(xué)習(xí)算法對場上局勢進(jìn)行研判。

              不過,像AlphaGo這樣的人工智能應(yīng)用并不與外界有直接的交互,或者是在封閉的環(huán)境下工作,因此受到的安全威脅相對較小。然而,隨著人工智能應(yīng)用的普及,安全威脅會不斷增加,更多的應(yīng)用會把應(yīng)用的輸入接口直接或間接暴露出來。同時封閉系統(tǒng)的攻擊面也會隨著時間和環(huán)境而轉(zhuǎn)化。

              云圖片

              圖1:深度學(xué)習(xí)算法與安全所考慮的不同輸出場景

              目前公眾對人工智能的關(guān)注,尤其是深度學(xué)習(xí)方面,缺少對安全的考慮,這是人工智能安全的“盲點(diǎn)”,近期很多對于深度學(xué)習(xí)的討論主要停留在算法和前景展望的層面,并沒有考慮人為惡意造成或合成的場景;深度學(xué)習(xí)軟件層面,很多是實(shí)現(xiàn)在深度學(xué)習(xí)框架上。然而系統(tǒng)越是復(fù)雜,就越是可能包含安全隱患。任何在深度學(xué)習(xí)框架以及他所依賴的組件中的安全問題都會威脅到框架之上的應(yīng)用系統(tǒng);另外,正如安全人員常說的,魔鬼往往隱藏于細(xì)節(jié)之中,任何一個大型軟件系統(tǒng)都會有時限漏洞。考慮到深度學(xué)習(xí)框架的復(fù)雜性,深度學(xué)習(xí)應(yīng)用也不例外。

              深度學(xué)習(xí)逃逸攻擊讓AI系統(tǒng)迷了眼睛

              同時,白皮書以逃逸攻擊為例,解析了深度學(xué)習(xí)模型所存在的一些安全問題。所謂逃逸攻擊,指的是攻擊者在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下,通過構(gòu)造特定的輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。只要一個機(jī)器學(xué)習(xí)模型沒有完美學(xué)到判別規(guī)則,攻擊者就有可能構(gòu)造對抗樣本以欺騙機(jī)器學(xué)習(xí)系統(tǒng)。

              云圖片

              圖2:稍加干擾因素深度學(xué)習(xí)系統(tǒng)會將熊貓誤認(rèn)為長臂猿

              白皮書中列舉了Ian Goodfellow在2015年ICLR會議上提出的著名逃逸樣本,樣本使用了谷歌的深度學(xué)習(xí)研究系統(tǒng),該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò),能夠精確區(qū)分熊貓和長臂猿等圖片。

              不過,攻擊者對熊貓的圖片“稍加改造”,增添了一些干擾因素。雖然這細(xì)微的差別并不會影響人類的判斷,不過深度學(xué)習(xí)系統(tǒng)卻把熊貓誤認(rèn)為了長臂猿。試想在具有圖像識別功能的AI系統(tǒng)中,如果判斷失誤,AI系統(tǒng)就很有可能做出截然不同的選擇,有可能導(dǎo)致非常嚴(yán)重的后果。

              此外,基于機(jī)器學(xué)習(xí)的逃逸攻擊主要是分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機(jī)器學(xué)習(xí)模型內(nèi)部的所有信息,然后直接計(jì)算得到對抗樣本;黑盒攻擊則只需要知道模型的輸入和輸出,通過觀察模型輸出的變化來生成對抗樣本。

              深度學(xué)習(xí)需謹(jǐn)慎降維攻擊

              此外白皮書指出,在深度學(xué)習(xí)的數(shù)據(jù)處理流程中,同樣存在安全風(fēng)險。攻擊者在不利用平臺軟件實(shí)現(xiàn)漏洞或機(jī)器學(xué)習(xí)模型弱點(diǎn)的情況下,只利用深度學(xué)習(xí)數(shù)據(jù)流中的處理問題,就可以實(shí)現(xiàn)逃逸或者數(shù)據(jù)污染攻擊。

              云圖片

              圖3:降維處理可能導(dǎo)致深度學(xué)習(xí)系統(tǒng)“指鹿為馬”

              比如,白皮書引用了Caffe平臺自帶的經(jīng)典圖片識別應(yīng)用案例,案例使用了一張羊群的圖片,識別所用的神經(jīng)元網(wǎng)絡(luò)是谷歌發(fā)布的GoogleNet,數(shù)據(jù)來自著名的ImageNet比賽。不過令人遺憾的是,Caffe的深度學(xué)習(xí)應(yīng)用將羊群誤判為狼。究其原因,還是由于深度學(xué)習(xí)自身算法的問題。由于深度學(xué)習(xí)模型真正用到的數(shù)據(jù)都會是維度變化過的圖片,即對圖片進(jìn)行了一些算法處理,其中包括最近點(diǎn)抽取、雙線性插值。這些處理的目的就是降低算法的復(fù)雜程度,并盡量保持圖片原有的樣子。

              但是這些常用的降維算法并沒有考慮惡意構(gòu)造的輸入。上面的攻擊例子,則是針對最常用的雙線性插值構(gòu)造的惡意攻擊樣本。根據(jù)白皮書的初步分析,幾乎所有網(wǎng)上流行的深度學(xué)習(xí)圖片識別程序都有被降維攻擊的風(fēng)險。對于降維攻擊的防范,用戶可以采用對超出異常的圖片進(jìn)行過濾,對降維前后的圖片進(jìn)行比對,以及采用更加健壯的降維算法等。

              當(dāng)前,人工智能的風(fēng)潮席卷而來,人們醉心于新鮮事物帶來的全新體驗(yàn),卻往往忽視了暗流涌動的安全問題。隨著人工智能的普及,人工智能將面臨來自多個方面的威脅:包括深度學(xué)習(xí)框架中的軟件識別漏洞、對抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等等。未來,作為國內(nèi)最大的網(wǎng)絡(luò)安全公司,360將以更為開放、分享的心態(tài),致力于幫助行業(yè)及廠商解決人工智能的安全問題,為我國人工智能的蓬勃發(fā)展保駕護(hù)航。


            1. 新浪新聞
            2. 百度搜索
            3. 搜狗搜索
            4. 京東商城
            5. 企業(yè)慧聰
            6. 新浪科技
            7. 科技訊
            8. 鵪鶉蛋價格
            9. 唯美圖片
            10. 主站蜘蛛池模板: 国产女人18毛片水真多18精品 | AV无码久久久久不卡网站下载| 日本成人在线网站| 亚洲免费网站观看视频| 激情久久av一区av二区av三区| 制服丝袜自拍偷拍| 被两个同桌绑起来玩乳动态gif | 国产成人久久综合热| 羞羞漫画成人在线| 国产视频福利在线| AV无码久久久久不卡蜜桃| 宅男噜噜噜66在线观看网站| 中文字幕在线观看国产| 日本漂亮人妖megumi| 久久综合热88| 欧美www网站| 亚洲国产精久久久久久久| 欲乱美女诗涵番外5| 亚洲色大成网站WWW尤物| 精品亚洲成a人在线观看| 幸福宝隐藏入口最新章节免费阅读小说 | 国产高潮刺激叫喊视频| avtt亚洲一区中文字幕| 帅哥我要补个胎小说| 中文字幕2020| 无遮掩60分钟从头啪到尾| 久久国产乱子伦精品免费不卡 | 福利视频导航网| 国产精品视频一区二区噜噜| avav在线看| 天天操天天射天天操| sihu免费观看在线高清| 尤物193yw在线看| 丁香六月久久久| 成人在线免费观看| 中文字幕国产在线观看| 无人在线观看视频高清视频8| 久久99精品久久久久久噜噜 | 青娱乐精品在线| 国产免费a级片| 边吃奶边扎下很爽视频|