告訴你的小貓你內心的想法——黑匣子效應

先進的人工智慧演算法就像一個黑盒子 (1)，它會拋出一個結果而不透露它是如何得出的，這一事實讓一些人感到困擾，也讓另一些人感到不安。

2015 年，紐約市西奈山醫院的研究團隊被要求使用這種方法來分析當地病患的大型資料庫 (2)。 這個龐大的集合包含了大量有關患者的信息，包括測試結果、醫生的醫囑等。

科學家們命名了工作期間開發的分析程序。 它接受了大約 700 萬人的資料訓練。 人類，並且在新的登記處進行測試時，事實證明它在預測疾病方面極其有效。 在沒有人類專家幫助的情況下，他在醫院記錄中發現了一些模式，顯示哪些患者正在罹患肝癌等疾病。 專家表示，該系統的預測和診斷效率遠高於任何其他已知方法。

2、基於病​​患資料庫的醫療人工智慧系統

同時，研究人員注意到它以神秘的方式發揮作用。 例如，事實證明，它非常適合 精神障礙的識別例如精神分裂症，這對醫生來說是極為困難的。 這令人驚訝，尤其是因為沒有人知道人工智慧系統如何如此擅長僅根據患者的醫療記錄來識別精神疾病。 是的，專家們對如此高效的機器診斷專家的幫助感到非常滿意，但如果他們了解人工智慧如何得出結論，他們會更加滿意。

人工神經元層數

從一開始，也就是從人工智慧的概念被人們知道的那一刻起，關於人工智慧就存在著兩種觀點。 第一個建議是，最明智的做法是建造能夠根據已知原理和人類邏輯進行推理的機器，使其內部運作對每個人都透明。 其他人則認為，如果機器透過觀察和重複實驗來學習，智能就會更容易出現。

後者意味著逆轉典型的電腦程式設計。 程式不是由程式設計師寫指令解決問題，而是生成 自己的演算法 基於樣本數據和期望的結果。 機器學習技術後來演變成當今已知的最強大的人工智慧系統，它只是走上了本質上的道路 機器自己編程.

這種方法在 60 世紀 70 年代和 XNUMX 年代仍然處於人工智慧研究的邊緣。 只是在上個十年之初，經過一些創新的改變與改進， 「深度」神經網絡 開始展現自動感知能力的根本改進。 

深度機器學習賦予了電腦非凡的能力，例如幾乎與人類一樣準確地識別口語單字的能力。 這是一項太複雜的技能，無法事先編程。 機器必須能夠透過以下方式創建自己的“程式” 海量資料集訓練.

深度學習也徹底改變了電腦影像識別，並大大提高了機器翻譯的品質。 如今，它被用來在醫學、金融、製造業等領域做出各種關鍵決策。

然而，有了這一切 你不能僅僅查看深度神經網路的內部來了解它「在幕後」是如何運作的。 網路推理過程嵌入數千個模擬神經元的行為中，這些神經元被組織成數十甚至數百個錯綜複雜的互連層。.

第一層中的每個神經元接收輸入訊號，例如影像中像素的強度，然後在輸出輸出訊號之前執行計算。 它們在複雜的網路中傳輸到下一層的神經元——依此類推，直到最終輸出訊號。 此外，還有一個過程稱為調整各個神經元執行的計算，以便訓練網路產生所需的輸出。

在一個經常引用的狗圖像識別範例中，人工智慧的較低層分析簡單的特徵，例如輪廓或顏色。 較高的個體處理較複雜的問題，例如皮毛或眼睛。 只有頂層將所有資訊整合在一起，將完整的資訊集識別為狗。

同樣的方法可以應用於其他類型的輸入，為機器提供自我學習的能力：例如，構成語音中單字的聲音、構成書面文字中句子的字母和單詞，或方向盤。 控制車輛所需的動作。

機器不會遺漏任何東西

人們試圖解釋此類系統中到底發生了什麼事。 2015年，Google研究人員修改了基於深度學習的影像辨識演算法，使其不再看到照片中的物體，而是產生或修改它們。 透過向後運行演算法，他們希望發現程式用於識別鳥類或建築物的特徵。

這些實驗以其標題為公眾所熟知，它們產生了令人驚嘆的圖像（3）怪誕、奇異的動物、風景和人物。 雖然他們揭示了機器感知的一些秘密，例如某些模式會循環並一遍又一遍地重複，但他們也展示了深度機器學習與人類感知的不同之處，例如，在它擴展和重複的意義上。複製我們在感知中不假思索忽略的文物。 。

3. 專案中創建的圖像

順便說一句， 另一方面，這些實驗揭示了我們自身認知機制的秘密。 也許正是在我們的感知中，存在著各種難以理解的成分，讓我們立即理解了一些東西並忽略了它，而機器則耐心地在「不重要」的物體上重複它的迭代。

為了「理解」這台機器，也進行了其他測試和研究。 賈森·約辛斯基 他創造了一種工具，就像插在大腦中的探針一樣，瞄準任何人工神經元並尋找最強烈激活它的圖像。 在最後的實驗中，由於網路「間諜」而出現了抽象圖像，這使得系統中發生的過程變得更加神秘。

然而，對許多科學家來說，這樣的研究是一種誤解，因為在他們看來，為了理解系統、識別模式和高階機制以做出複雜的決策， 所有計算交互 在深度神經網路內部。 這是一個由數學函數和變數組成的巨大迷宮。 目前我們還無法理解。

計算機無法開始工作？ 為什麼？

為什麼了解先進人工智慧系統的決策機制很重要？ 數學模型已經被用來確定哪些囚犯可以假釋、哪些囚犯可以得到信用、哪些可以找到工作。 任何有興趣的人都想知道為什麼做出這個特定決定而不是另一個決定，原因和機制是什麼。

——他於 2017 年 XNUMX 月在《麻省理工科技評論》上承認。 湯米·雅科拉，麻省理工學院教授，研究機器學習應用。 -.

甚至有一種法律和政治立場認為，審查和理解人工智慧系統決策機制的能力是一項基本人權。

自 2018 年以來，歐盟一直致力於要求公司向客戶提供有關自動化系統決策的解釋。 事實證明，有時即使對於看起來相對簡單的系統（例如使用深度科學來提供廣告或推薦歌曲的應用程式和網站），這也是不可能的。

運行這些服務的電腦會自行編程，而且它們以我們無法理解的方式進行編程……即使是創建這些應用程式的工程師也無法完全解釋其工作原理。