發布日期:2022-10-09 點擊率:45
Facebook昨天第一次正式介紹了FBLearner Flow,一個可以為全公司員工管理機器學習模型的機器學習軟件。換句話說,這是一個可以自己制造人工智能的人工智能,你可以理解為傳說中的人工智能母體。
它與其他基于云端的機器學習服務有點相似,例如微軟的Azure機器學習或者Airbnb的開源Airflow,不過,FBLearner Flow是根據Facebook自己的業務而進行最優化的,裝滿了Facebook工程師開發的算法,讓公司其他人都可以為自己的模型而使用該平臺。
“公司超過25%的人都在使用,使用情景是我們之前無法預想的。”Facebook核心機器學習小組總監Hussein Mehanna在一次訪談中告訴Venture Beat。
Facebook不只可以發布關于FBLearner Flow的學術論文,還可以最終將其開源。Facebook工程師已經與其他公司的人討論了這類技術,包括linkedin、Twitter和Uber等公司。Mehanna說,他們都非常感興趣。
當然會對開源感興趣啦——這個系統已經在Facebook這樣的大公司驗證可行,而且,這!不!花!錢!這一點就與來自Domino Data Lab和Yhat的數據科學合作工具不同。
Facebook經常將一些技術開源,這樣的做法也符合公司自己的需要,因此如果未來FBLearner Flow完全開源了也不奇怪。問題是Facebook是否愿意投入工程資源,將這項技術與其專利系統的匹配斷開。話雖如此,如果Facebook不愿開源、將FBLearner Flow壓在箱底也不奇怪。因為多虧了這項技術,員工變得更加高效了。這會是一個競爭優勢。人們在新系統中可以看到過往的試驗和結果,甚至將兩個不同的機器學習流水線結合起來,設計出某種更加復雜的東西。此外,圖形交互界面讓非工程師也可以使用這個新平臺,因此才會有Mehanna說高達的25%的人都在使用。
無論未來是否會開源,至少,我們今天獲得了一部分FBLearner Flow的技術詳解。讓我們來看看Facebook工程師Jeffrey Dunn的博文,詳細解讀FBLearner Flow作為Facebook的人工智能母體到底厲害在哪兒。Jefferey Dunn從卡內基梅隆大學獲得碩士學位,2011年加入Facebook,參與打造圖片搜索中的網絡搜索等工作。
圖片來源:Facebook Code
如今,Facebook的許多體驗和交互都是依靠AI實現的。當你登錄Facebook,我們使用機器學來給你提供獨特的、個人化的體驗。機器學習(ML)模型實現了個人化新聞流(News Feed)、過濾了可能得罪人的內容、突顯流行熱點話題并將搜索結果排名。還有很多其他體驗可以從機器學習中獲益。但是以前,工程師必須有很強機器學習背景,不然沒法好好利用公司的機器學習基礎設施。在2014年底,我們從零開始,重新定義Facebook的機器學習平臺,將最先進的AI和ML算法送到Facebook每一位工程師的手中。
我們希望能有這樣的一個平臺:
1.每個機器學習算法應該可以一次性設置好,可以重復使用;
2. 工程師可以寫一個訓練流水線,在許多機器上平行運行,可以被很多工程師所用。
3. 無論工程師在機器學習領域的背景深淺,都可以很簡單地訓練模型,而且,其中幾乎所有的 步驟都可以完全自動化。
4. 人人都能很方便地搜索過往試驗、查看結果、與他人分享,并在某一個試驗中開啟新的變量。
我們決定建造一個全新平臺:FBLearner Flow,可以簡單方便地在不同產品中重復使用算法,可以放大規模同時運行幾千個定制試驗,并且能夠輕松管理試驗。這個平臺提供了創新性的功能,例如從流水線定義和自動平行Python代碼自動生成UI體驗。平臺從創立起已經訓練了超過一百萬個模型,我們的預測服務發展到每秒超過600萬次預測。
減少了手動工作的工程師們可以花更多時間進行特征工程,這反過來又可以進一步提升精度。工程師可以在更大的平臺層面去發揮影響。FBLearner Flow提供了平臺和工具,讓工程師每天進行幾千個試驗。
下一篇: PLC、DCS、FCS三大控
上一篇: 索爾維全系列Solef?PV