Ken641228的部落格

來自中國科學院大學的作者寫道："隨著神經網絡的使用越來越廣泛，這種方法在未來將普遍用於傳遞惡意軟件。"

他們的實驗發現，使用真實的惡意軟件樣本，用惡意軟件替換AlexNet模型中高達50%左右的神經元，仍能保持模型的準確率在93.1%以上。作者總結說，一個178MB的AlexNet模型可以在其結構中嵌入多達36.9MB的惡意軟件而不被使用一種叫做隱寫術的技術檢測出來，一些模型針對58種常見的防病毒系統進行瞭測試，惡意軟件也沒有被發現系統被破壞的跡象。

其他入侵企業或組織的方法，如將惡意軟件附在文件或文檔上，往往不能在不被發現的情況下大規模地提供惡意軟件。另一方面，新的研究設想瞭這樣一個未來：一個組織可以為任何特定的任務（例如，聊天機器人，或圖像檢測）引入一個現成的機器學習模型，該模型可以裝載惡意軟件，同時很好地執行其任務，不會引起安全系統的懷疑。

根據這項研究，這是因為AlexNet（像許多機器學習模型）是由數百萬個參數和許多復雜的神經元層組成的，包括所謂的全連接 "隱藏"層。通過保持AlexNet中巨大的隱藏層完全不變，研究人員發現，改變其他一些神經元對性能沒有什麼影響。

在這篇論文中，作者為黑客如何設計一個帶有惡意軟件的機器學習模型並讓它在外部傳播列出瞭一個遊戲規則。

"首先，攻擊者需要設計神經網絡。為瞭確保更多的惡意軟件可以被嵌入，攻擊者可以引入更多的神經元。然後，攻擊者需要用準備好的數據集訓練網絡，以獲得一個表現良好的模型。如果有合適的訓練有素的模型，攻擊者可以選擇使用現有模型。之後，攻擊者選擇最佳層並嵌入惡意軟件。嵌入惡意軟件後，攻擊者需要評估模型的性能，以確保損失可以接受。如果模型的損失超出可接受的范圍，攻擊者需要用數據集重新訓練模型，以獲得更高的性能。一旦模型準備好瞭，攻擊者可以利用供應鏈污染等方法將其發佈在公共資源庫或其他地方"。

根據該論文，在這種方法中，惡意軟件在嵌入到網絡的神經元中時被"分解"，並由一個惡意的接收程序組裝成可運行的惡意軟件，該程序也可以通過更新下載中毒的模型。如果目標設備在啟動模型之前驗證瞭該模型，那麼該惡意軟件仍然可以被阻止。它也可以用靜態和動態分析等 "傳統方法"來檢測。

網絡安全研究員和顧問Lukasz Olejnik博士告訴Motherboard："今天，用殺毒軟件檢測它並不簡單，但這隻是因為沒有人刻意在這裡面尋找。該過程中的惡意軟件提取步驟也有可能被發現。一旦隱藏在模型中的惡意軟件被編譯成，惡意軟件，那麼它就可能被發現。"

"但這也是一個問題，因為從深度神經網絡模型中提取惡意軟件的定制方法意味著目標系統可能已經在攻擊者的控制之下，"他說，"但如果目標主機已經在攻擊者的控制之下，隱藏額外惡意軟件的需求就會減少。"

"雖然這是合法的、有意義的研究，但我不認為在DNN模型中隱藏整個惡意軟件能給攻擊者帶來什麼，"他補充說。

研究人員在研究中指出，他們希望這可以 "為神經網絡輔助攻擊的防禦提供一個可參考的方案"。

這並不是研究人員第一次研究神經網絡如何被惡意行為者利用，比如通過設計圖像來迷惑他們，或者通過嵌入後門來導致模型行為不當。如果神經網絡真的是黑客的未來，隨著惡意軟件活動的增加，這可能成為對大公司的一個新威脅。"隨著人工智能的普及，人工智能輔助的攻擊將出現，給計算機安全帶來新的挑戰。網絡攻擊和防禦是相互依存的，"該論文指出。"我們希望所提出的方案能對未來的保護工作有所幫助"。

訪問文獻瞭解更多：

https://arxiv.org/abs/2107.08590