人工智慧不遵循科學進步的邏輯

我們在 MT 中多次寫過有關研究人員和專家的文章，他們聲稱機器學習系統是「黑盒子」(1)，即使對於建構它們的人來說也是如此。 這使得評估結果和重複使用新興演算法變得困難。

神經網路——這項技術為我們提供了智慧轉換機器人和巧妙的文本生成器，甚至可以創作詩歌——對於外部觀察者來說仍然是一個難以理解的謎團。

它們變得越來越大、越來越複雜，處理巨大的數據集並使用大量的計算陣列。 這使得對所得模型的複製和分析成本高昂，有時對於其他研究人員來說是不可能的，除了擁有巨額預算的大型中心之外。

許多科學家很清楚這個問題。 其中包括喬爾·皮諾（Joel Pinault）（2），NeurIPS 主席，這是關於「可重複性」的首要會議。 她領導下的專家希望創建一個「可重複性檢查表」。

皮諾說，這個想法是鼓勵研究人員向其他人提供路線圖，以便他們有機會重新創建和發展已經完成的工作。 您可能會驚嘆於新文本生成器的雄辯或視頻遊戲機器人超人的敏捷性，但即使是最好的專家也不知道這些奇蹟是如何運作的。 因此，複製人工智慧模型不僅對於確定新的目標和研究方向很重要，而且還可以作為純粹的實用指南。

其他人正在嘗試解決這個問題。 谷歌研究人員提出了「模式卡」來詳細說明系統的測試方式，包括表明潛在錯誤的結果。 艾倫人工智慧研究所 (AI2) 的研究人員發表了一篇論文，旨在將皮諾的可重複性檢查表擴展到實驗過程的其他階段。 「展示你的作品，」他們敦促道。

有時，由於研究項目是專有的，尤其是為公司工作的實驗室，因此會缺少基本資訊。 然而，更常見的是，它表明無法描述不斷變化且日益複雜的研究方法。 神經網路是一個非常複雜的領域。 獲得最佳結果通常需要微調數千個“旋鈕和按鈕”，有些人稱之為“黑魔法”。 選擇最佳模型通常需要進行大量實驗。 魔法變得非常昂貴。

例如，當Facebook試圖複製Alphabet旗下DeepMind開發的系統AlphaGo時，事實證明這項任務極為困難。 Facebook 員工表示，龐大的運算需求、數天內在數千台裝置上進行的數百萬次實驗，再加上缺乏程式碼，使得該系統「即使不是不可能，也很難重新創建、測試、改進和擴展」。

問題似乎很專業。 然而，如果我們進一步思考，一個研究團隊與另一個研究團隊之間的結果和功能的可重複性問題的現象破壞了我們所知的科學和研究過程運作的整個邏輯。 一般來說，過去的研究成果可以作為進一步研究的基礎，促進知識、技術的發展和整體進步。