yfqe3jjyvb的部落格

EDVVE79465BRFREF5ECE

目錄

序

詳細資料

... 大數據文摘出品 在人工智慧盛行的今天，AI早已融入了生活中的多個場景，然而，一些主流應用場景的背後，往往也藏著由技術性缺陷導致的算法安全風險。 例如，在一些訓練數據無法覆蓋到的極端場景中，自動駕駛汽車可能出現匪夷所思的決策，導致乘車人安全風險。從2016年至今，Tesla、Uber等企業的輔助駕駛和自動駕駛系統就都曾出現過類似致人死亡的嚴重事故。 並且這類極端情形也可能被惡意製造並利用，發起「對抗樣本攻擊」，去年7月，百度等研究機構就曾經通過3D列印能讓自動駕駛「無視」的障礙物，使車輛有發生撞擊的風險，同樣威脅行駛安全。 從安全評測到防禦升級，RealSafe讓AI更加安全可控 為了解決以上痛點，近日，清華大學AI研究院孵化企業RealAI（瑞萊智慧）正式推出首個針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平臺——RealSafe人工智慧安全平臺。 據了解，該平臺內置領先的AI對抗攻防算法，提供從安全測評到防禦加固整體解決方案，目前可用於發現包括人臉比對等在內的常用AI算法可能出錯的極端情形，也能預防潛在的對抗攻擊。 RealAI表示，就如網絡安全時代，網絡攻擊的大規模滲透誕生出殺毒軟體，發現計算機潛在病毒威脅，提供一鍵系統優化、清理垃圾跟漏洞修復等功能，RealSafe研發團隊希望通過RealSafe平臺打造出人工智慧時代的「殺毒軟體」，為構建人工智慧系統防火牆提供支持，幫助企業有效應對人工智慧時代下算法漏洞孕育出的「新型病毒」。 RealSafe平臺目前主要支持兩大功能模塊：模型安全測評、防禦解決方案。 其中，模型安全評測主要為用戶提供AI模型安全性評測服務。用戶只需接入所需測評模型的SDK或API接口，選擇平臺內置或者自行上傳的數據集，平臺將基於多種算法生成對抗樣本模擬攻擊，並綜合在不同算法、疊代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告（如下圖）。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。 ... 防禦解決方案則是為用戶提供模型安全性升級服務，目前RealSafe平臺支持五種去除對抗噪聲的通用防禦方法，可實現對輸入數據的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據上述的模型安全評測結果，用戶可自行選擇合適的防禦方案，一鍵提升模型安全性。另外防禦效果上，根據實測來看，部分第三方的人臉比對API通過使用RealSafe平臺的防禦方案加固後，安全性可提高40%以上。 隨著模型攻擊手段在不斷複雜擴張的情況下，RealSafe平臺還持續提供廣泛且深入的AI防禦手段，幫助用戶獲得實時且自動化的漏洞檢測和修復能力。 「對抗樣本」成「AI病毒」，國外主流人臉識別算法相繼被「攻破」 站在人臉識別終端前，通過人臉識別攝像頭完成身份校驗，類似的人臉識別身份認證已經覆蓋到刷臉支付、酒店入住登記、考試身份核驗、人證比對等等生活場景中。 考慮到公眾對於對抗樣本這一概念可能比較模糊，RealSafe平臺選取了公眾最為熟知的人臉比對場景（人臉比對被廣泛用於上述的身份認證場景中）提供在線體驗。並且，為了深入研究「對抗樣本」對人臉比對系統識別效果的影響，RealAI 團隊基於此功能在國外主流 AI 平臺的演示服務上進行了測試。 ... 選取一組不同的人臉圖片（如下圖），通過RealSafe平臺對其中一張圖片生成對抗樣本，但不影響肉眼判斷，添加「對抗樣本」前後分別輸入到第三方人臉比對平臺中查看相似度。 ... 最終結果顯示，添加「噪聲」前，兩張圖片被 Azure、AWS 判定為不屬於同一個人，但添加「噪聲」後，以上兩個平臺的演示服務均給出了錯誤的結果，認為兩張圖片屬於同一個人，甚至 Azure 平臺的演示服務在添加「噪聲」前後相似度變化的幅度高達70%以上。 ... 為了探究結果的普適性，RealAI團隊又選取了國內三家主流人臉比對平臺進行測試，結果同樣顯示，添加擾動之後，原本判定為「不同人臉」的圖片均被錯誤識別為「相同人臉」，前後相似度的變化幅度可達到20%以上。而通過RealSafe防火牆「去噪」過濾後，這幾個人臉比對平臺的識別「誤差」獲得不同程度的糾正，識別效果得到穩定提升。 實測證明，「對抗樣本」可以極大的干擾人臉比對系統的識別結果，據介紹，目前市面上很多中小型企業在落地人臉識別應用時大多會選擇採用上文測試的這幾家網際網路公司開放的人臉比對SDK或者API接口，如果他們人臉比對技術存在明顯的安全漏洞，意味著更廣泛的應用場景將存在安全隱患。 除了人臉比對外，對抗樣本攻擊還可能出現在目標檢測的應用場景中，延伸來看，這可能會危害到工業、安防等領域的安全風險檢測。比如某電網的輸電塔的監控系統，由於輸電塔的高安全性防護要求，防止吊車、塔吊、煙火破壞輸電線路，需要對輸電塔內外進行全天候的實時監控，而這實時監控系統背後就是基於目標檢測的AI算法來提供保障。 而RealAI研究團隊發現，只要通過RealSafe對其中的目標檢測算法進行一定的對抗樣本攻擊，就會造成監控系統失效，導致其無法識別非常明顯的煙火情形，類似情形如果真實發生，將可能帶來難以估計的損失。 事實上，像以上提到的這些AI安全風險由於都是AI底層算法存在技術缺陷而導致，往往比較隱蔽，但牽一髮動全身，這些「難以預見」的風險漏洞最有可能成為被攻破的薄弱環節，而RealSafe平臺同步推出的防禦解決方案則可以有效增強各應用領域中AI算法的安全性。 「零編碼」+「可量化」，兩大優勢高效應對算法威脅 據介紹，RealAI此次推出的算法模型安全檢測平臺，除了可以幫助企業高效應對算法威脅還具備以下兩大優勢： 組件化、零編碼的在線測評：相較於ART、Foolbox等開源工具需要自行部署、編寫代碼，RealSafe平臺採用組件化、零編碼的功能設置，免去了重複造輪子的精力與時間消耗，用戶只需提供相應的數據即可在線完成評估，極大降低了算法評測的技術難度，學習成本低，無需擁有專業算法能力也可以上手操作。比如上文中針對微軟、亞馬遜等第三方平臺的測試，整個流程按照步驟提示完成，只需幾分鐘就可以查看到測評結果。 可視化、可量化的評測結果：為了幫助用戶提高對模型安全性的概念，RealSafe平臺採用可量化的形式對安全評測結果進行展示，根據模型在對抗樣本攻擊下的表現進行評分，評分越高則模型安全性越高。此外，RealSafe平臺提供安全性變化展示，經過防禦處理後的安全評分變化以及模型效果變化一目了然。 落地安全周邊產品，為更多場景保駕護航 其實對抗樣本原本是機器學習模型的一個有趣現象，但經過不斷的升級演化，「對抗樣本」已經演變成一種新型攻擊手段，並從數字世界蔓延到物理世界：在路面上粘貼對抗樣本貼紙模仿合併條帶誤導自動駕駛汽車拐進逆行車道、胸前張貼一張對抗樣本貼紙在監控設備下實現隱身…… 所以，除了針對數字世界的算法模型推出安全評測平臺，RealAI團隊也聯合清華大學AI研究院圍繞多年來積累的領先世界的研究成果落地了一系列AI攻防安全產品，旨在滿足更多場景的AI安全需求。 比如，攻擊技術方面，RealAI團隊實現了世界首個通過「對抗樣本」技術實現破解商用手機刷臉解鎖，讓手機將佩戴「特製眼鏡」的黑客誤識為機主。 ... 圖：世界唯一通過AI對抗樣本技術攻破商用手機人臉解鎖案例 通過在目標人服裝上張貼特製花紋使AI監控無法檢測到該人物，實現「隱身」，以及通過在車輛上塗裝特殊花紋，躲避AI對車輛的檢測。 ...圖：通過AI對抗樣本圖案躲避AI車輛檢測 在發現以上各種新型漏洞的同時，RealAI也推出相應的防禦技術，支持對主流AI算法中的安全漏洞進行檢測，並提供AI安全防火牆對攻擊AI模型的行為進行有效攔截。 人工智慧的大潮滾滾而來，隨之而來的安全風險也將越來越多樣化，尤其近年來因AI技術不成熟導致的侵害風險也頻頻發生，可以說，算法漏洞已逐漸成為繼網絡安全、數據安全後又一大安全難題。 所幸的是，這些AI團隊早已開始了AI安全領域的征程，並開始以標準化的產品助力行業降低應對安全風險的門檻與成本。此次上線RealSafe人工智慧安全平臺是RealAI的一小步嘗試，但對於整個行業而言，這將是人工智慧產業邁向健康可控發展之路的一大步。 實習/全職編輯記者招聘ing 加入我們，親身體驗一家專業科技媒體采寫的每個細節，在最有前景的行業，和一群遍布全球最優秀的人一起成長。坐標北京·清華東門，在大數據文摘主頁對話頁回復「招聘」了解詳情。簡歷請直接發送至zz@bigdatadigest.cn

文章來源取自於：

壹讀 https://read01.com/L2jOxJd.html

博客來 https://www.books.com.tw/exep/assp.php/888words/products/0010652777

如有侵權，請來信告知，我們會立刻下架。

DMCA：dmca(at)kubonews.com

聯絡我們：contact(at)kubonews.com

神岡心臟無力感看什麼科神岡長期頭暈治療中醫神岡體溫控制功能異常治療有效中醫診所
神岡入睡困難中醫推薦 北屯容易冒汗中醫推薦 這間中醫診所很大推北屯喉嚨異物感中醫推薦 台中四肢麻痺改善中醫診所 ptt推薦的中醫診所神岡肌肉疼痛治療中醫 大雅呼吸困難改善中醫診所 許多人都在間中醫診所看好的潭子睡不著治療有效中醫診所 豐原頸部緊繃酸痛治療中醫 這間中醫診所很大推