在經歷了幾十年起起伏伏的發展后，人工智能終于開始為公司企業帶來實實在在的價值了。近日，麥肯錫發布了報告指出，新進入人工智能領域的公司將學習到早期進入這一領域的巨頭在投資以及創造價值上面的豐富經驗。新技術開啟新應用，但也會帶來新的風險。應用高新技術，必須注意新技術帶來的危險。因此，最近OpenAI和DeepMind的研究人員希望利用一種能從人工反饋中學習的新算法，使人工智能更安全。

　　這兩家公司都是強化學習領域的專家。強化學習是機器學習的一個分支，即在給定的環境下，如果人工智能系統做出正確行為，那么就給予獎勵。目標通過算法來制定，而人工智能系統通過編程去尋求獎勵，例如在游戲中贏得高分。

　　在教會機器玩游戲，或是通過模擬來駕駛無人車的場景下，強化學習非常成功。這種方法在探索人工智能系統的行為時非常強大，但如果編死的算法出現錯誤，或是產生不必要的副作用，那么也可能非常危險。

　　發表至arXiv的一篇論文描述了一種新方法，有助于預防此類問題。首先，人工智能系統在環境中產生隨機行為，預期的獎勵基于人工判斷，而這將被反饋至強化學習算法，以改變人工智能系統的行為。

　　研究人員將這種技術應用至一項訓練任務。關于人工智能行為的兩段視頻被發給人工，而人工將判斷哪種行為干得更好。

　　通過這種方式，人工智能系統可以逐漸學會如何追逐獎勵，通過更好地解釋人工的評判來學會達成目標。這樣的強化學習算法會調整自身的行為，并不斷尋求人工的認同。

　　在這項任務中，人工評判者只花了不到1小時時間。然而對于更復雜的任務，例如做飯或發送電子郵件，那么還需要更多的人工反饋。這樣做可能是不經濟的。

　　論文的共同作者、OpenAI研究員達里奧.阿莫德伊(DarioAmodei)表示，減少對人工智能系統的監督是未來可能專注的一個研究領域。

　　他表示：“從廣義上說，半監督學習技術在這里可能會有幫助。另一種可能的選擇是提供信息密集的反饋形式，例如語言，或者讓人工指向屏幕的特定部分，以代表良好行為。信息更密集的反饋或許將幫助人工減少與算法溝通的時間?！?/p>

　　研究員在其他模擬機器人和Atari游戲中測試了他們的算法。結果表明，機器某些時候可能取得超人的成績。不過，這在很大程度上依賴人工的評判能力。

　　OpenAI在博客中表示：“關于什么行為是正確的，我們算法的表現與人工評判者的直覺一樣好。但如果人工對于任務沒有很好的把握，那么可能就無法提供較多有幫助的反饋?！?/p>

　　阿莫德伊表示，目前的結果僅限于非常簡單的環境。不過，對于那些獎勵難以量化的任務，例如駕駛、組織活動、寫作，以及提供技術支持，這可能會很有幫助。