本帖最后由 面壁深功 于 2017-9-19 08:21 編輯
有預(yù)測(cè)說(shuō)，從現(xiàn)在到2020年，人類社會(huì)將會(huì)有500億個(gè)設(shè)備聯(lián)網(wǎng)，這意味著我們會(huì)有更多的數(shù)據(jù)需要處理，會(huì)有更大的流量進(jìn)入云中，30年后我們腳上的鞋的智能程度可能會(huì)比我們的大腦還要高。 今天IoT的部署帶來(lái)了很多問(wèn)題，諸如帶寬、時(shí)延、可靠性和安全性。基于云的模型很難解決這些問(wèn)題，那么我們?nèi)绾尾拍軓脑浦蟹至鳎瑤?lái)更多實(shí)時(shí)性，帶來(lái)與“人的智能”同級(jí)別的設(shè)備？ Movidius™神經(jīng)計(jì)算棒的誕生，就是為了解決這個(gè)問(wèn)題。 在2017年9月4日的Movidius™神經(jīng)計(jì)算棒閉門研討會(huì)上，英特爾官方為大家詳細(xì)介紹了這款產(chǎn)品，以下為演講實(shí)錄精華版。 一、Movidius™神經(jīng)計(jì)算棒是什么？ Movidius™神經(jīng)計(jì)算棒是世界上首個(gè)基于USB模式的深度學(xué)習(xí)推理工具和獨(dú)立的人工智能加速器，可以用它來(lái)做樣機(jī)、調(diào)試并且驗(yàn)證、部署AI網(wǎng)絡(luò)。基于低功耗及USB接口，它可以很輕松地被應(yīng)用到各個(gè)行業(yè)，對(duì)于開(kāi)發(fā)者來(lái)說(shuō)使用也很方便，出差時(shí)可以直接放進(jìn)你的上衣口袋。 當(dāng)下熱門的人工智能設(shè)備，如安全攝像頭、VR、無(wú)人機(jī)、智能家居等等，都需要實(shí)時(shí)的圖象處理、機(jī)器視覺(jué)和人工智能，并且需要在很低的功率之下運(yùn)行。而Movidius™神經(jīng)計(jì)算棒內(nèi)置的Myriad 2 VPU提供了強(qiáng)大且高效的性能，以便在設(shè)備上直接運(yùn)行實(shí)時(shí)深度神經(jīng)網(wǎng)絡(luò)（DNN），這使得各種人工智能應(yīng)用都能離線部署，這也是英特爾豐富的軟件和硬件解決方案的一部分，是解決AI數(shù)據(jù)洪流所帶來(lái)的挑戰(zhàn)的利器。 二、Movidius™神經(jīng)計(jì)算棒有哪些特性？ Movidius™神經(jīng)計(jì)算棒的特性包括：可以支持深度神經(jīng)網(wǎng)絡(luò)，可以做樣機(jī)調(diào)試和部署。它也可以把深度神經(jīng)網(wǎng)絡(luò)部署在設(shè)備上運(yùn)行，換句話說(shuō)你可以在不聯(lián)網(wǎng)、不用云的前提下，實(shí)時(shí)執(zhí)行推理或者物體鑒別、圖像鑒別，或者是每幀視頻的鑒別，甚至可以在同一個(gè)平臺(tái)上使用多個(gè)神經(jīng)計(jì)算棒，讓你的應(yīng)用在神經(jīng)計(jì)算棒上實(shí)現(xiàn)，達(dá)到擴(kuò)展性。所有這些都是通過(guò)USB實(shí)現(xiàn)，不需要任何外部的支持。 三、Movidius™神經(jīng)計(jì)算棒兼容性如何？ Movidius™神經(jīng)計(jì)算棒目前可以支持Ubuntu 16.04操作系統(tǒng)，但是它并不僅僅是一個(gè)硬件設(shè)備，作為一個(gè)良好的開(kāi)發(fā)工具，要有很好的軟件支持，英特爾也為此做出了諸多努力，提供了一系列包括API在內(nèi)的開(kāi)發(fā)者工具包進(jìn)行支持。 那么，英特爾為開(kāi)發(fā)者們提供了哪些開(kāi)發(fā)者工具？聽(tīng)聽(tīng)Ashwin Vijayakumar先生怎么說(shuō)：英特爾新技術(shù)事業(yè)部應(yīng)用架構(gòu)師 Ashwin Vijayakumar先生。 四、Movidius™神經(jīng)計(jì)算棒如何運(yùn)行？ 以前面提到的“貓機(jī)大戰(zhàn)”為例，想要解決這個(gè)問(wèn)題，需要兩個(gè)部分：第一是訓(xùn)練，第二是推理。 如果要進(jìn)行訓(xùn)練，你需要構(gòu)建一個(gè)深度的神經(jīng)網(wǎng)絡(luò)模型，讓機(jī)器可以鑒別出這是一只貓還是一只狗，還是地面的一個(gè)污跡。當(dāng)構(gòu)建好這個(gè)模型之后，就需要將其部署在一個(gè)低功耗的設(shè)備上，對(duì)實(shí)際的場(chǎng)景進(jìn)行識(shí)別，這就是推理。于是，你把模型交給機(jī)器，機(jī)器會(huì)實(shí)時(shí)收到信息，并使用剛才提到的模型，把貓和需要清掃的垃圾區(qū)分開(kāi)來(lái)，這就是NCS（即神經(jīng)計(jì)算棒）的工作，而SDK會(huì)幫助開(kāi)發(fā)者完成這樣的工作。 英特爾有不同解決方案來(lái)做模型訓(xùn)練，你可以選擇使用FPGA、英特爾至強(qiáng)系列處理器來(lái)訓(xùn)練你的網(wǎng)絡(luò)，完成訓(xùn)練之后，就可以得到模型。通過(guò)調(diào)用SDK中的接口，可以方便的在主機(jī)（NCS所連接的計(jì)算機(jī)）與NCS之間通信。NCS利用訓(xùn)練好的網(wǎng)絡(luò)模型計(jì)算出圖像分析的結(jié)果，并傳輸?shù)街鳈C(jī)上，完成推理工作。 開(kāi)發(fā)者是否要完成所有設(shè)置工作？當(dāng)然不用。 英特爾打造了模塊化設(shè)計(jì)，開(kāi)發(fā)者選擇使用SDK的一小部分即可。 如果你是一個(gè)網(wǎng)絡(luò)架構(gòu)師或者數(shù)字科學(xué)家，主要目標(biāo)就是打造一個(gè)非常好的、經(jīng)過(guò)完整優(yōu)化的網(wǎng)絡(luò)來(lái)滿足一個(gè)特定應(yīng)用的需求，這時(shí)有兩個(gè)工具可以為你提供很好的幫助： 首先是Profiler，它可以把你的模型進(jìn)行提取，告訴你網(wǎng)絡(luò)中的每一層的執(zhí)行，哪一層可以在NCS上進(jìn)行，它會(huì)給你非常詳細(xì)的信息，包括帶寬，還有你的執(zhí)行類型。如果說(shuō)對(duì)這些層的性能在NCS上并不滿意，還可以進(jìn)行一個(gè)回歸，回歸到之前的網(wǎng)絡(luò)上，然后再反向執(zhí)行，在Profiler再一次執(zhí)行，直到你對(duì)網(wǎng)絡(luò)性能滿意為止，并且完成了最后的優(yōu)化。 當(dāng)你的網(wǎng)絡(luò)架構(gòu)已經(jīng)完成，準(zhǔn)備進(jìn)入到下一階段時(shí)，Checker工具可以讓你盡可能接近于終端應(yīng)用，比如說(shuō)一張貓咪的照片放在NCS上，看它具體的性能表現(xiàn)怎么樣。 作為網(wǎng)絡(luò)架構(gòu)師，你的工作就已經(jīng)完成了，然后把后續(xù)工作交給你的同事。這時(shí)，一名應(yīng)用工程師就要依賴于已經(jīng)設(shè)定好的網(wǎng)絡(luò)，設(shè)計(jì)完的網(wǎng)絡(luò)集成到應(yīng)用環(huán)境中，比如設(shè)計(jì)一個(gè)可以更好地規(guī)劃路線的智能吸塵器。 這時(shí)也有兩個(gè)工具可以幫上忙：第一個(gè)就是Compiler——使用者必須對(duì)之前完成的網(wǎng)絡(luò)架構(gòu)文件進(jìn)行轉(zhuǎn)碼。在使用Compiler時(shí)，你給它一個(gè)輸入，然后它就會(huì)有一個(gè)輸出，整個(gè)過(guò)程自動(dòng)完成。 圖像文件必須加載到NCS當(dāng)中，這時(shí)API框架就會(huì)發(fā)生作用——用戶可以把圖像文件加載到NCS上，這個(gè)操作在整個(gè)開(kāi)發(fā)過(guò)程中只需要做一次就可以完成。系統(tǒng)重啟之后，繼續(xù)把圖像文件上傳到NCS中。在接下來(lái)的推理過(guò)程中，只需要抓取一個(gè)圖像放到NCS上，NCS就可以進(jìn)行推理，有了這個(gè)文件，NCS就可以捕捉其他圖像幀，然后加以分析。以上所有工作都會(huì)在后臺(tái)完成，而CPU可以什么都不做，NCS則會(huì)識(shí)別圖像，會(huì)告訴你圖像上是貓是狗還是其他什么，它會(huì)給不同的可能性并進(jìn)行權(quán)重的加權(quán)，然后你判斷這個(gè)答案的對(duì)錯(cuò)，或是對(duì)它重新解讀。 英特爾提供的API框架十分豐富，支持C語(yǔ)言、Python等。 除此之外，產(chǎn)品現(xiàn)在已經(jīng)支持了卷積神經(jīng)網(wǎng)絡(luò)，但是必須在Caffe上進(jìn)行訓(xùn)練，不過(guò)馬上就可以支持其他框架了。為了幫助大家快速完成部署，并且啟動(dòng)設(shè)計(jì)，在開(kāi)發(fā)階段英特爾還把那些預(yù)訓(xùn)練的網(wǎng)絡(luò)集成到了NCS當(dāng)中，如GoogleNet、Alexnet、SqueezeNet，還有CaffeNet。 當(dāng)然，上述的網(wǎng)絡(luò)僅僅是一小部分，之前談到的Profiler，可以幫助你訓(xùn)練自己的網(wǎng)絡(luò)，但是有一點(diǎn)一定要確保，它必須要與所支持的計(jì)算層相匹配。
| 
發(fā)表于 2017-9-19 08:21:32
QQ好友和群
QQ空間
