您當前的位置是:  首頁 > 技術 > 技術動態(tài) >
 首頁 > 技術 > 技術動態(tài) > 奇安信:正在訓練公司專有的類ChatGPT安全大模型 未來將廣泛應用于安全產品開發(fā)等領域

奇安信:正在訓練公司專有的類ChatGPT安全大模型 未來將廣泛應用于安全產品開發(fā)等領域

2023-02-08 10:42:20   作者:   來源:通信世界全媒體   評論:0  點擊:


  OpenAI 發(fā)布的人工智能聊天機器人ChatGPT,上線2個月活躍用戶就突破了1億,成為全球關注的焦點。奇安信人工智能研究院負責人表示,公司正在基于ChatGPT相關技術和自身積累的海量安全知識和數據,訓練奇安信專有的類ChatGPT安全大模型。未來將廣泛應用于安全產品開發(fā)、威脅檢測、漏洞挖掘、安全運營及自動化、攻防對抗、反病毒、威脅情報分析和運營、涉網犯罪分析等領域。

  上述負責人表示,ChatGPT是使用互聯(lián)網數據及部分由標注人員人工編寫的對話數據,利用人類反饋強化學習(RLHF)技術及自有的GPT3.5大模型進行訓練而成的。奇安信團隊對于相關的強化學習、大語言模型等技術,已經有長時間的實踐,并取得了多項成果。

  如同其他人工智能模型一樣,ChatGPT對網絡安全是把雙刃劍,既可以是網絡釣魚、惡意軟件生成、社工攻擊的強大工具,也成為網絡防御者的有力助手。

  一方面,眾多安全專家警告,由 OpenAI 開發(fā)并免費在線提供的ChatGPT,隱藏著眾多潛在網絡安全風險,可能構成嚴重的網絡安全威脅。網絡攻擊者已開始使用ChatGPT來創(chuàng)建惡意軟件、暗網站點和其他實施網絡攻擊的工具。同時有越來越多的證據表明,ChatGPT也可以成為網絡防御者的強大武器。

  ChatGPT:改變網絡威脅格局的黑客新工具?

  長期以來,很多網絡安全專業(yè)人士一直對人工智能的作用持懷疑態(tài)度,習慣于嘲笑相關企業(yè)對于人工智能作用的大肆宣傳(夸大)。人工智能技術在識別安全威脅方面發(fā)揮了重要的價值,但事實證明,很多解決方案遠沒有宣傳的那么實用,而是被營銷團隊夸大了。

  對于火熱的ChatGPT,網絡安全專業(yè)人士給予了前所未有的關注。ChatGPT 亮相僅數周,網絡安全公司 Check Point就利用聊天機器人ChatGPT,結合OpenAI 的代碼編寫系統(tǒng) Codex,生成了能攜帶惡意載荷、編寫巧妙的網絡釣魚郵件。Check Point 創(chuàng)建的網絡釣魚電子郵件,附有 Excel 文檔,其中包含將反向 shell 下載到受害者系統(tǒng)的惡意代碼。

  Check Point安全專家認為,這表明 ChatGPT 有“顯著改變網絡威脅格局的潛力”,代表著“日益復雜的網絡能力在危險演化上又向前邁進了一步”。

  威脅情報公司 Recorded Future 的研究人員在最新報告中表示,使用ChatGPT編寫用于網絡攻擊的惡意軟件代碼,降低了攻擊者的編程或技術能力門檻 。根據報告,“只要對網絡安全和計算機科學的基礎知識有基本了解,就可借助ChatGPT實施網絡攻擊。Palo Alto Networks公司的安全專家Sean Duca也認為:“ChatGPT降低了網絡犯罪的門檻”——即使沒有技術,也能成為攻擊者。其帶來的網絡威脅還有可能蔓延到異次元。

  目前網絡釣魚即服務 (PhaaS) 和勒索軟件即服務 (RaaS)可以向攻擊者提供收費工具包,使其可以輕松實施攻擊。而現(xiàn)在ChatGPT則使網絡犯罪活動正經歷另一種演變:利用ChatGPT面向公眾免費開放的服務,更多危險正在萌芽,這加劇了對于未來安全風險的憂慮。

  Recorded Future 在報告中表示,網絡犯罪分子使用 ChatGPT 造成的“最緊迫和常見的威脅”主要包括網絡釣魚、社會工程和惡意軟件開發(fā)。

  (1)網絡釣魚

  根據HP Wolf Security的研究,網絡釣魚占惡意軟件攻擊的近 90% 。ChatGPT 使情況變得更糟:它在模仿人類書寫方面的專長,使其可能成為強大的網絡釣魚工具,尤其對英語不流利的攻擊者特別有用。

  撰寫出色的網絡釣魚電子郵件是一門藝術和科學。借助ChatGPT,編寫釣魚郵件會變得更容易,且沒有任何拼寫錯誤或奇怪的格式,而這些通常是區(qū)分釣魚與合法郵件的關鍵。攻擊者可以借助ChatGPT創(chuàng)造多種釣魚郵件,例如“使郵件看起來很緊急”、“收件人點擊鏈接的可能性很高的郵件”、 “請求匯款的社工郵件”等。

  Akamai Technologies 首席技術官兼執(zhí)行副總裁 Robert Blumofe 表示:“ChatGPT使攻擊者能有效地將普通釣魚的數量與魚叉式網絡釣魚(定向)的高收益結合起來。” 普通網絡釣魚的規(guī)模很大,以電子郵件、短信和社交媒體帖子的形式發(fā)送數百萬個誘餌。但這類通用的形式,容易被發(fā)現(xiàn),往往回報較低。魚叉式網絡釣魚利用社會工程,創(chuàng)建具有更高回報的針對性和定制化的誘餌,但因需要大量的人工投入,因而數量較少。借助 ChatGPT 生成網絡誘餌,攻擊者就可以實現(xiàn)事半功倍的效果。

  (2)惡意軟件生成

  目前安全人員已發(fā)現(xiàn)網絡攻擊者使用 ChatGPT 來開發(fā)惡意軟件。盡管ChatGPT 的設置阻止其直接做惡,比如詳細說明如何制造炸彈或編寫惡意代碼,但多個研究人員已經找到方法,能繞開和規(guī)避ChatGPT為防止濫用而設置的規(guī)則。BugCrowd 首席技術官、創(chuàng)始人兼董事長Casey John Ellis將 ChatGPT 的出現(xiàn)稱為對抗性 AI/機器學習知識領域的“糟糕”時刻。

  在地下黑客論壇上,網絡攻擊者展示如何使用ChatGPT創(chuàng)建新的木馬。只要簡要地描述所需的功能(“將所有密碼保存在文件X中,并通過HTTP POST發(fā)送到服務器Y”),就可以得到簡單的信息竊取器,而不需要任何編程技能。考慮到已經有犯罪集團提供惡意軟件即服務,在 ChatGPT 等人工智能程序的幫助下,攻擊者借助人工智能生成的代碼發(fā)起網絡攻擊可能會變得更快、更容易。ChatGPT 賦予甚至經驗不足的攻擊者編寫更準確的惡意軟件代碼的能力,而這在以前只能由專家來完成。ChatGPT 的代碼編寫質量好壞參半,但無疑可以加速惡意軟件的開發(fā)。

  Recorded Future 在暗網和封閉論壇發(fā)現(xiàn)了 1,500 多條關于在惡意軟件開發(fā)和概念驗證代碼創(chuàng)建中使用 ChatGPT 的 資料。其中包括利用開源庫發(fā)現(xiàn)的惡意代碼對 ChatGPT 進行培訓,以生成可逃避病毒檢測的惡意代碼不同變體,以及使用 ChatGPT 創(chuàng)建惡意軟件配置文件并設置命令和控制系統(tǒng)。值得注意的是,根據Recorded Future 研究人員的說法,ChatGPT 還可以用于生成惡意軟件有效載荷。研究團隊已經確定了 ChatGPT 可以有效生成的幾種惡意軟件有效負載,包括信息竊取器、遠程訪問木馬和加密貨幣竊取器。

  當然ChatGPT 并不是編寫惡意軟件的專家,它生成的惡意代碼可能存在細微的錯誤和邏輯缺陷,從而降低其有效性。這意味著生成高質量的惡意代碼顯然離不開攻擊者專業(yè)知識的支撐。

  (3)社會工程

  ChatGPT 作為由 OpenAI 訓練的大型語言模型,能夠生成可用于多種用途的類人文本。其中一種用途是在社會工程攻擊領域。社會工程攻擊是一種依靠心理操縱來誘騙人們泄露敏感信息或執(zhí)行某些操作的策略。這可以通過各種方式完成,包括網絡釣魚詐騙、借口和其他形式的欺騙。

  ChatGPT 和其他基于GPT-3的工具使社會工程攻擊能夠從其“創(chuàng)造力和對話方法”中受益。就像互聯(lián)網為網絡犯罪分子消除物理障礙一樣,這些工具的修辭能力可以消除文化障礙。

  研究人員發(fā)現(xiàn),ChatGPT 等GPT-3工具使犯罪分子能夠逼真地模擬各種社會環(huán)境,從而使任何針對性的通信攻擊都更加有效。GPT-3這類語言模型提供支持的工具,使攻擊者更易誘騙受害者提供敏感信息或下載惡意軟件,加速從網絡釣魚到傳播仇恨言論的所有級別和目的的社會工程攻擊。

  總的來說,ChatGPT 生成類人文本的能力可以成為社會工程攻擊的強大工具。通過創(chuàng)建令人信服的消息,ChatGPT 可用于操縱個人泄露敏感信息或執(zhí)行某些操作。未來需要更多人意識到ChatGPT 的這種潛在用途,在與未知來源互動時保持謹慎。

  ChatGPT同樣是安全防護的福音

  與所有技術一樣,ChatGPT 本身是一把雙刃劍。盡管越來越多的研究人員認為ChatGPT 可能成為黑客的盟友,但這一可生成不良內容的工具,也可以用來幫助安全人員提高效率,提高惡意信息識別、抵御網絡攻擊的能力,這主要包括釣魚檢測、漏洞發(fā)現(xiàn)和安全事件響應。

  (1)網絡釣魚檢測

  2022 年 11 月,知名《安全雜志》報告稱,2022年前 11 個月發(fā)生 2.55 億次釣魚攻擊,同比2021 年激增了 61%。人是安全鏈中最薄弱的環(huán)節(jié),掌握著訪問敏感數據的密鑰。攻擊者往往利用定制的釣魚郵件來獲取對敏感數據的訪問權限。

  ChatGPT 可以被攻擊者創(chuàng)造釣魚郵件,同樣可以從大型語言模型中學習,幫助組織識別和標記釣魚郵件,在郵件進入收件人的收件箱之前就可以進行標記,從而顯著降低網絡釣魚活動成功的機會。網絡安全專業(yè)人員還可以利用 ChatGPT 來訓練網絡釣魚檢測系統(tǒng),以識別與這些攻擊相關的模式和語言。以便提高網絡釣魚檢測系統(tǒng)的效率和有效性。

  (2)漏洞發(fā)現(xiàn)

  ChatGPT 可用于幫助發(fā)現(xiàn)組織使用軟件和系統(tǒng)中的新漏洞。網絡安全行業(yè)已經面臨控制大量安全漏洞的挑戰(zhàn)。人工智能將會把安全漏洞數字推得更高,因為它可以更快、更智能地發(fā)現(xiàn)漏洞。

  安全人員可以使用 ChatGPT 快速生成大量獨特的輸入,使網絡安全專業(yè)人員能夠識別以前未檢測到和未知的漏洞。同時,還使用新獲得的知識和信息來提高軟件和系統(tǒng)的安全性,實施更有效的安全控制,或改進當前的安全措施和實踐。

  ChatGPT它與用戶的專業(yè)水平相結合,可以使用戶能夠快速學習并有效地采取行動。就像應用程序的在線幫助可以解決問題一樣,用戶可以從ChatGPT獲得特定漏洞的更多信息以及如何緩解辦法。

  未來隨著,ChatGPT模型代碼理解能力的提高,安全防護人員可以詢問軟件代碼的副作用,將其作為開發(fā)伙伴,可以顯著提升軟件代碼的安全水平。

  隨著ChatGPT人工智能模型的演進,有可能實現(xiàn)漏洞檢測和修復的自動化和/或半自動化,以及基于風險的優(yōu)先級。這對于面臨資源限制的 IT 和安全團隊來說將是非常有吸引力的應用。

  (3)事件分析與響應

  ChatGPT 還可以在檢測和響應網絡攻擊,以及改善組織內部的溝通方面發(fā)揮關鍵作用。

  埃森哲的安全研究人員一直在嘗試利用 ChatGPT 的功能,實現(xiàn)網絡防御自動化的工作。熟練的安全專業(yè)人員,網絡安全專業(yè)人員負擔過重,ChatGPT實現(xiàn)一些安全工作的自動化將會給不堪重負的安全團隊帶來福音,同時還有助于“消除信號中的一些噪音”

  多年來,安全運營領域在很多方面一直停滯不前,分析師收到了大量、過載的信息。通常,安全分析師收到潛在安全事件的警報后,會提取數據以便能“講出故事”,同時判讀是否為真正的攻擊。這通常需要大量手動工作,或者需要使用 SOAR(安全編排、自動化和響應)工具將相關工作進行整合。

  ChatGPT在這方面展示獨特的優(yōu)勢:在從安全運營平臺獲取數據后,ChatGPT 會生成非常好的摘要,幾乎就像人類分析師在審查后所形成的報告。埃森哲的研究表明,ChatGPT從安全信息和事件管理 (SIEM) 工具中獲取數據輸出并進行處理可以快速生成安全事件的“故事”。相比人類分析師,ChatGPT可以更快地從數據中創(chuàng)建有關安全事件的清晰畫面。最終,這些可以幫助安全團隊做出更好的安全決策。

  ChatGPT的未來:以人工智能對抗人工智能

  對ChatGPT 未來在網絡安全中扮演什么角色、有什么影響,我們很難進行準確的預測。這取決于它的使用方式以及使用的意圖。來自人工智能的威脅并不是新問題,只是 ChatGPT 展示了一些看起來很可怕的應用。對于網絡安全人士來說,重要的是要及時意識到ChatGPT的潛在風險并及時采取適當的措施來應對。

  安全專家預測,國家背景的黑客將率先在網絡攻擊中利用ChatGPT,而該技術最終會在更多的攻擊組織得到大規(guī)模的使用。信息安全專家需要開始開發(fā)能夠抵御此類攻擊的系統(tǒng)。

  從網絡安全防護的角度來看,機構可以采取針對性的應對措施。對ChatGPT等類似模型進行培訓,標記惡意的活動和惡意代碼;同時對其設置難以繞過護欄。對于ChatGPT引發(fā)的威脅,可以向員工提供新型的網絡意識培訓,掌握識別社會工程攻擊的知識,以便識別ChatGPT等人工智能工具所創(chuàng)造的釣魚攻擊。

  當然僅僅是這樣還不夠。ChatGPT等人工智能工具會以比人類罪犯更快的速度制造出新的、日益智能的威脅,傳播威脅的速度也會將超過網絡安全人員的反應速度。對于機構來說,跟上這一變化速度的唯一方法是通過使用人工智能來應對人工智能。

  一方面,網絡安全行業(yè)的研究人員、從業(yè)者、學術和企業(yè)可以利用 ChatGPT 的力量進行創(chuàng)新和協(xié)作,包括漏洞發(fā)現(xiàn)、事件響應和釣魚檢測。此外,隨著ChatGPT 等類似工具的發(fā)展,未來開發(fā)新的網絡安全工具更加重要。安全企業(yè)應更積極地開發(fā)和部署基于行為(而非規(guī)則)的AI安全工具,來檢測人工智能生成的攻擊。 網絡安全僅使用規(guī)則驅動的框架來檢測潛在的網絡威脅。行為分析通過使用復雜的機器學習算法來分析整個企業(yè)的用戶和實體數據,識別具有風險的外行為,從而實現(xiàn)以人為本的防御。為了更好地保護機構免受這些新型攻擊,是時候發(fā)展和部署基于行為的 AI檢測工具了。

  安全研究人員認為,展望未來,ChatGPT 也可能是一個信號,表明距離網絡防御決策的更高自動化不再遙遠。

【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

相關閱讀:

專題

CTI論壇會員企業(yè)