發布日期:2022-10-09 點擊率:38
游戲是人工智能研究的完美實驗環境。在游戲環境中,可用于訓練人工智能模型的數據是近乎無限、低成本、可復制,相比現實世界的經驗更容易獲得。這些特點正幫助 Facebook 人工智能實驗室(FAIR)探索一些短期目標,如復雜游戲環境中多個人工智能的能力;以及長期目標:讓人工智能應對現實世界的挑戰。游戲研究可以幫助我們構建能夠進行計劃、具有理性、自我導航、解決問題、合作與交流的人工智能。
盡管使用游戲進行訓練能夠帶來多種好處,但研究者們在游戲環境中進行探索可能會遇到很多困難。由于目前機器學習算法的諸多限制,訓練需要成百上千的游戲局數,這需要大量的計算資源,如配備大量 CPU、GPU 或定制硬件的高性能計算平臺。此外,這些算法是復雜而難以進行微調的。而隨著訓練環境中增加更多的人工智能代理,這些變量將更加難以控制。
為了解決這些問題,讓所有人都能參與人工智能的研究。FAIR 團隊創造了 ELF:一個大范圍、輕量級且易于使用的游戲研究平臺。ELF 可以讓研究者們在不同的游戲環境中測試他們的算法,其中包括桌游、Atari 游戲(通過 Arcade Learning Environment),以及定制的即時戰略游戲(RTS)。它們可以運行在帶有 GPU 的筆記本電腦上,而且支持在更為復雜的游戲環境中訓練 AI,例如即時戰略游戲——僅僅使用 6 塊 CPU,一塊 GPU,花上一天時間。
FAIR 的研究者們將 ELF 的界面設計得易于使用:ELF 在 C/C++界面中運行所有游戲,自動處理并發問題如多線程/多任務。另外,ELF 還有一個純凈的 Python 用戶界面,提供了一批可供訓練的游戲狀態。ELF 也支持游戲以外的用途,它包括物理引擎等組件,可以模擬現實世界的環境。
目前,ELF 平臺已經開源,開發者和研究者們可以在 GitHub 中找到它:
https://github.com/facebookresearch/ELF
相關論文也已發表在 arXiv 中:https://arxiv.org/abs/1707.01067
架構
ELF 的架構相對簡單,它包含一個能夠主持多個在 C++端運行并發游戲示例的模擬器,同時在 Python 端與 AI 模型(深度學習、強化學習等)溝通。
與其他在一個界面包含單個游戲的 AI 平臺不同,ELF 能把一批游戲包括進一個 Python 界面。這使得模型和強化學習算法能夠在每次迭代中包含一批游戲狀態,降低了訓練模型所需的時間。
我們也在游戲推斷和參與者模型(actor model) 之間建立配對靈活性。使用該框架,非常容易用一個參與者模型配對特定的游戲示例,或者一個示例配對許多參與者模型,或者許多示例配對一個參與者模型。這樣的靈活性能夠快速的構建算法原型,幫助研究員更快地理解哪個模型有更好的表現。
在 FAIR 早期的實驗中,ELF 能進行更快的模擬,使用同樣數量的 CPU 和 GPU 相比于 OpenAI Gym 玩 Atari 游戲可以提高 30% 的訓練速度。當增加更多的核心之后,ELF 每核的幀率保持穩定。
下一篇: PLC、DCS、FCS三大控
上一篇: 索爾維全系列Solef?PV