為什么一定要是視覺(jué)?

　　賽靈思之所以選擇視覺(jué)作為機(jī)器學(xué)習(xí)應(yīng)用，是因?yàn)樵诋?dāng)今攝像頭的廣泛應(yīng)用，讓視頻文件數(shù)量形成了爆炸式增長(zhǎng)，機(jī)器完全可以通過(guò)視覺(jué)引導(dǎo)識(shí)別視頻中的每一幀的內(nèi)容并且進(jìn)行學(xué)習(xí)和記錄，如無(wú)人機(jī)，自動(dòng)駕駛，和工業(yè)機(jī)器人等嵌入式等應(yīng)用也是完全基于視覺(jué)引導(dǎo)，攝像頭的使用相當(dāng)于給機(jī)器裝上了眼睛，據(jù)統(tǒng)計(jì)差不多80%最初的機(jī)器學(xué)習(xí)的應(yīng)用都是以視覺(jué)系統(tǒng)為基礎(chǔ)，而其余有20%的應(yīng)用是關(guān)于控制系統(tǒng)和安全性應(yīng)用。

　　實(shí)現(xiàn)端到云的部署

　　對(duì)于云端數(shù)據(jù)應(yīng)用，賽靈思已經(jīng)推出了可重配置加速堆棧，它可以滿足目前云端數(shù)據(jù)分析處理的需要，而對(duì)于邊緣端的應(yīng)用賽靈思今天又推出了reVISION作為更全面的補(bǔ)充。

　　紅色的部分關(guān)于與工業(yè)領(lǐng)域的相關(guān)的應(yīng)用，從左到右展示了從用戶端到云端的各種場(chǎng)景的應(yīng)用，虛線中的應(yīng)用為賽靈思器件已經(jīng)服務(wù)的領(lǐng)域，但無(wú)需棧輔助的應(yīng)用。

　　技術(shù)核心——融合

　　賽靈思發(fā)布reVISION，最大特點(diǎn)就是融合。賽靈思戰(zhàn)略與市場(chǎng)營(yíng)銷高級(jí)副總裁Steve Glaser在宣講reVISION的最大特點(diǎn)的時(shí)候強(qiáng)調(diào)了它的融合能力，將視覺(jué)，機(jī)器學(xué)習(xí)，多種傳感器融合以及鏈接控制，四大關(guān)鍵點(diǎn)打通，形成獨(dú)一無(wú)二的開(kāi)發(fā)環(huán)境。

　　reVISION 堆棧把機(jī)器視覺(jué)，機(jī)器學(xué)習(xí)，傳感器融合，以及鏈接，四者在賽靈思開(kāi)發(fā)板上實(shí)現(xiàn)融合。

　　傳感器在應(yīng)用中出現(xiàn)的融合趨勢(shì)，也是為什么可重配置能力的系統(tǒng)能夠勝出的原因，現(xiàn)在的應(yīng)用已經(jīng)不再是僅僅對(duì)環(huán)境或者化學(xué)機(jī)械方面的偵測(cè)，融合的趨勢(shì)讓機(jī)器學(xué)習(xí)的能力得到了進(jìn)一步的擴(kuò)展，僅在成像方面就出現(xiàn)了多種傳感的融合。這又不得不提到ADAS，在這方面賽靈思reVISION對(duì)比mobileye 不僅能夠提供視覺(jué)傳感方面的處理，而且還能實(shí)現(xiàn)機(jī)器學(xué)習(xí)。

　　僅在成像方面，就出現(xiàn)了多種傳感的融合

　　更高執(zhí)行，更低時(shí)延

　　與CPU，GPU和傳統(tǒng)SOC相比，但是在效率和運(yùn)行速度上都無(wú)法與reVISION想比尤其在低時(shí)延方面賽靈思的優(yōu)勢(shì)非常明顯。以Nvidia的tegra 為例，基于谷歌網(wǎng)絡(luò)(Googlenet)條件下運(yùn)行，賽靈思reVISION與英偉達(dá)Tegra對(duì)比測(cè)試差別高達(dá)6倍的推理速度，42倍的幀率速度，并且小于1/5毫秒的時(shí)延。案例方面以自動(dòng)駕駛為例，汽車在突然緊急制動(dòng)時(shí)速是65英里，賽靈思的reVISION響應(yīng)時(shí)間是2.5毫秒，Nvidia的解決方案的響應(yīng)時(shí)間可以從49毫秒一直到320毫秒，取決于工程師是如何來(lái)部署tegra系統(tǒng)，這種響應(yīng)時(shí)間的差異也體現(xiàn)在實(shí)際停車距離上，這個(gè)距離差是5英尺到33英尺不等，這期間的區(qū)別很有可能最后轉(zhuǎn)化成結(jié)果，就是是否發(fā)生了撞車甚至撞到了行人。同時(shí)，低時(shí)延在工業(yè)方面也會(huì)涉及到生產(chǎn)安全的，醫(yī)療領(lǐng)域的遠(yuǎn)程診斷以及手術(shù)實(shí)施亦是離不開(kāi)低時(shí)延的支持。

　　那為什么賽靈思能夠?qū)崿F(xiàn)這樣快速的響應(yīng)速度呢?典型的嵌入式的GPU和典型的SoC，傳感器的數(shù)據(jù)需要外部存儲(chǔ)，在處理的步驟當(dāng)中，也需要不斷的去訪問(wèn)外部存儲(chǔ)。但是如果是賽靈思的Zynq器件的話，就能夠非常簡(jiǎn)化獲得非常直接的數(shù)據(jù)流，直接的經(jīng)過(guò)傳感器，傳感器的處理，機(jī)器學(xué)習(xí)，一直到控制。這就會(huì)對(duì)響應(yīng)的時(shí)間造成很大的影響，除此以外，還會(huì)影響到可預(yù)見(jiàn)性，也就是用戶所說(shuō)的決定性，用戶希望整個(gè)過(guò)程是可以預(yù)見(jiàn)的，可以確定的，并且響應(yīng)速度要很快。所以賽靈思能夠提供非常快速的決定性的響應(yīng)，同類競(jìng)爭(zhēng)產(chǎn)品的響應(yīng)速度則要慢很多，而且大多是不可預(yù)見(jiàn)的。

　　降低開(kāi)發(fā)門檻

　　賽靈思作為硬件芯片公司，也將各種庫(kù)和算法進(jìn)行了開(kāi)發(fā)并集成到了reVIISION當(dāng)中，簡(jiǎn)化了工程師80%的工作。在revision的開(kāi)發(fā)環(huán)境里可以降低硬件知識(shí)門檻，讓工程師能夠快速上手。通過(guò)reVISION，能夠使得用戶在他們比較熟悉、比較喜歡的環(huán)境下來(lái)進(jìn)行開(kāi)發(fā)，說(shuō)到的框架就是Caffe，還有習(xí)慣使用的庫(kù)，還有其他的機(jī)器學(xué)習(xí)的一些元素，它可以大大簡(jiǎn)化開(kāi)發(fā)過(guò)程，但是有些情況用戶還是需要開(kāi)發(fā)過(guò)程中開(kāi)發(fā)自己庫(kù)的功能，比如說(shuō)計(jì)算機(jī)視覺(jué)方面來(lái)支持他的庫(kù)，有些環(huán)節(jié)現(xiàn)在還缺失。另外，用戶也需要一些小的知識(shí)來(lái)修改一些以C語(yǔ)言為基礎(chǔ)的庫(kù)來(lái)做計(jì)算機(jī)視覺(jué)，來(lái)實(shí)現(xiàn)對(duì)Zynq器件的編譯。此外利用賽靈思器件的INT8優(yōu)化也可以針對(duì)嵌入式視覺(jué)進(jìn)行深度學(xué)習(xí)方面的優(yōu)化開(kāi)發(fā)，對(duì)比其他FPGA DSP 而言可以獲得倍的解決方案性能。

　　工業(yè)領(lǐng)域的應(yīng)用場(chǎng)景

　　對(duì)于工業(yè)領(lǐng)域方面的視覺(jué)引導(dǎo)類應(yīng)用開(kāi)發(fā)，就不得不提到機(jī)器視覺(jué)以及柔性協(xié)作機(jī)器人。人機(jī)協(xié)作隨工業(yè)4.0的興起被逐漸得到重視，但還是未得到大規(guī)模普及，對(duì)于低時(shí)延的要求成為考量安全標(biāo)準(zhǔn)的重要因素，賽靈思reVISION顯然不怕來(lái)自于時(shí)延方面的考量，而在實(shí)現(xiàn)制造產(chǎn)線的靈活性的制造方面，視覺(jué)引導(dǎo)的機(jī)器學(xué)習(xí)將發(fā)揮巨大作用，按需制造的柔性生產(chǎn)的多品類混流制造也是機(jī)器視覺(jué)和機(jī)器學(xué)習(xí)融合的開(kāi)發(fā)方向，其他領(lǐng)域的工業(yè)應(yīng)用如造價(jià)高達(dá)幾百萬(wàn)的電力巡檢機(jī)器人，高危地區(qū)的檢測(cè)等等也都是基于視覺(jué)引導(dǎo)類的學(xué)習(xí)類應(yīng)用，相信reVISION也會(huì)更多的在工業(yè)檢測(cè)類應(yīng)用項(xiàng)目中出現(xiàn)，為智能制造的創(chuàng)新開(kāi)拓新路。

（IIANews版權(quán)所有，轉(zhuǎn)載請(qǐng)注明）