安森美半導(dǎo)體領(lǐng)先的智能感知技術(shù)和方案應(yīng)對工業(yè)人工智能應(yīng)用挑戰(zhàn)
發(fā)布時間:2020-07-16 來源:安森美半導(dǎo)體 責(zé)任編輯:wenwei
【導(dǎo)讀】工業(yè)機(jī)器視覺、機(jī)器人、人工智能技術(shù)的發(fā)展正配合著政府的智能制造計劃向前推進(jìn),圖像傳感器是其中的關(guān)鍵技術(shù),其在工業(yè)中的應(yīng)用很廣,包括智能交通、高端安防監(jiān)控、電影拍攝、醫(yī)療影像、生物識別、天文相機(jī),以及常見的機(jī)器視覺在工業(yè)自動化生產(chǎn)的應(yīng)用,不同的應(yīng)用對圖像的分辨率、清晰度、噪聲、以及相機(jī)的幀率、系統(tǒng)成本等都有不同的要求,同時工業(yè)中人工智能應(yīng)用的發(fā)展給圖像傳感器帶來了更高的挑戰(zhàn),包括推動了全局快門性能、高速拍攝、大分辨率、使用不可見光譜區(qū)域和三維體積深度提供的信息進(jìn)行關(guān)鍵推斷,以及神經(jīng)網(wǎng)絡(luò)處理的發(fā)展。安森美半導(dǎo)體是工業(yè)機(jī)器視覺的領(lǐng)袖之一,具備全方位的產(chǎn)品陣容并不斷開發(fā)出領(lǐng)先的技術(shù),解決上述挑戰(zhàn)并推動創(chuàng)新。
高效的工業(yè)生產(chǎn)需要機(jī)器視覺給出快速又精準(zhǔn)的決策
在生產(chǎn)線上用于測量的相機(jī)要能快速判斷液位、尺寸,用來定位的相機(jī)系統(tǒng)要能快速準(zhǔn)確的給出正確的物品位置,及時通知機(jī)械手臂在哪里尋找抓取物品,用作計件檢驗(yàn)的相機(jī)系統(tǒng)要能夠快速計算出數(shù)量,是否溢出,用作解碼識別的相機(jī)系統(tǒng)要能夠快速準(zhǔn)確識別二維碼,字符信息等。相機(jī)系統(tǒng)做出快速精準(zhǔn)決策的關(guān)鍵就是圖像能夠清晰準(zhǔn)確的提供這些信息,不同的檢測應(yīng)用對圖像的分辨率、清晰度、噪聲、以及相機(jī)的幀率、系統(tǒng)成本等都有不同的要求。
隨著工業(yè)自動化的發(fā)展,檢測種類的多樣性,驅(qū)使圖像傳感器不斷的更新?lián)Q代,工藝一直在突破提升。這個發(fā)展從安森美半導(dǎo)體的幾代CMOS產(chǎn)品系列中可見一斑:在2005年推出的LUPA系列開始有了高速輸出接口,接下來2010年推出的VITA系列在全局快門性能上有了很大了提升,支持卷簾快門和全局快門兩種模式,在2014年推出的PYTHON系列增加了像素內(nèi)圖像矯正,有效的優(yōu)化了全局快門傳感器的噪聲性能,2019年剛推出的XGS系列使用了減少節(jié)點(diǎn)的像素工藝對噪聲和圖像一致性更是有了飛躍般的提升,今后安森美半導(dǎo)體將會在工業(yè)級圖像傳感器使用背照式和堆棧式工藝來推動圖像傳感器的進(jìn)一步發(fā)展。
隨著工藝的提升,圖像傳感器的像元越來越小,但它卻可以達(dá)到大尺寸像元的圖像效果,這就使傳感器的分辨率可以越做越大,帶寬也越來越高,也推動了整體相機(jī)系統(tǒng)的提升和發(fā)展,來滿足工業(yè)生產(chǎn)快速精確的推斷和決策。
人工智能是新工具
快速精確的決策需求推動整個生態(tài)系統(tǒng)來實(shí)現(xiàn)高級數(shù)據(jù)收集和推斷,提供了真正進(jìn)入工業(yè)4.0的機(jī)會,人工智能(AI)正是需要的新工具,用來管理工業(yè)系統(tǒng)成像不斷增長的數(shù)據(jù)集。AI可以通過自適應(yīng)制造、自動質(zhì)量控制、預(yù)測性維護(hù)等方案有效地應(yīng)對當(dāng)今制造業(yè)面臨的挑戰(zhàn),如工廠中的PCB板檢測、鈑金缺陷檢測、食品衛(wèi)生檢測、零部件均勻度檢測、平板檢測的應(yīng)用中,工廠操作員的疲勞會影響對產(chǎn)品質(zhì)量的一致性評估,但是機(jī)器視覺相機(jī)和深度學(xué)習(xí)解決了這個問題。如今,AI已用于60%以上的計算機(jī)視覺應(yīng)用中,而AI在制造應(yīng)用中的增長已超過50%年復(fù)合增長率。
工業(yè)中AI應(yīng)用的發(fā)展給圖像傳感器帶來了更高的挑戰(zhàn),包括推動了全局快門性能、高速拍攝、高分辨率、使用不可見光譜區(qū)域和三維體積深度提供的信息進(jìn)行關(guān)鍵推斷,以及神經(jīng)網(wǎng)絡(luò)處理的發(fā)展。
全局快門:實(shí)現(xiàn)高速視覺成像的關(guān)鍵
傳統(tǒng)的卷簾快門圖像傳感器可為靜態(tài)或慢速移動的物體成像提供出色的靈敏度。但全局快門在檢測快速移動物體的工業(yè)應(yīng)用中至關(guān)重要。如高速裝配線的機(jī)器視覺檢測之類的任務(wù)需要準(zhǔn)確的判斷,全局快門圖像傳感器通過完全同時同步曝光捕獲所有像素,來消除使用卷簾快門傳感器逐行曝光帶來的空間失真變形的效果,正確還原了運(yùn)動物體的真實(shí)樣子,接下來才能進(jìn)行強(qiáng)大的AI分類計算。如安森美半導(dǎo)體的全局快門圖像傳感器XGS 2000,以220 fps的速度捕獲高質(zhì)量、精確和快速移動的200萬像素全局快門圖像場景,可以為物流和工業(yè)掃描儀等不同場景下應(yīng)用提供清晰、低噪聲的圖像。
圖1:卷簾快門vs. 全局快門
高速也是快速移動物體檢測的工業(yè)應(yīng)用另一個至關(guān)重要點(diǎn)。高速裝配線的機(jī)器視覺檢查需要快速的幀率和較短的積分時間,可以使用短曝光和快速讀出消除圖像模糊的效果。工廠的視覺檢測基本都是對應(yīng)高速移動的物體,特別是工廠高速運(yùn)轉(zhuǎn)的生產(chǎn)線上,傳送帶的速度特別快,那么在最短的時間內(nèi)成像讀出數(shù)據(jù),減少或消除拍攝圖像中的運(yùn)動模糊,才能利用AI算法實(shí)現(xiàn)正確的智能判斷和快速決策。
市場對高分辨率的需求不斷增長
越來越多的應(yīng)用對分辨率有了很高的需求,例如手機(jī)/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應(yīng)用中,使用相機(jī)檢測顯示器的輸出,以查找顯示亮度的均勻性、顏色準(zhǔn)確性、線條缺陷、顆粒缺陷等。這就要求檢測相機(jī)提供非常高的圖像質(zhì)量和高度均勻性,以確保相機(jī)中的質(zhì)量問題不會被誤解為顯示器中的產(chǎn)品缺陷。顯示屏實(shí)際上都由紅綠藍(lán)等多個LED子像素組成,檢測系統(tǒng)需要能夠解析所有這些子像素,以便正確成像和顯示并確認(rèn)設(shè)備的質(zhì)量,為提高檢測的精度和可靠性,行業(yè)中通常會使用圖像傳感器靶面的3x3,或者4x4, 甚至5x5個像元來識別顯示屏設(shè)備的一個LED子像素,這就需要用到更多的傳感器像元個數(shù),并且隨著顯示器分辨率的不斷提高-從傳統(tǒng)高清到4k到8k甚至更高,檢測相機(jī)所需的分辨率也在不斷提高,才不會犧牲應(yīng)用所需的高圖像質(zhì)量和均勻性,為AI算法的精度提供更可靠的數(shù)據(jù)支持。
又如另一個常見的工業(yè)成像應(yīng)用是印刷電路板檢測,以確認(rèn)電路板組件上的集成元器件、電容器、電阻器等已正確安裝并焊接到位。電路板的檢測速度是受圖像分辨率和幀率的組合影響,圖像中能夠捕獲的電路板尺寸面積越大,一次可以檢測的電路板就越多,圖像能捕獲的越快,檢測的效率就越高。雖然當(dāng)前市場上提供的圖像傳感器可以每秒輸出約500或1400個像素的數(shù)據(jù),但是安森美半導(dǎo)體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數(shù)據(jù)用于算法判斷,比競爭對手快3倍以上,圖像數(shù)據(jù)寬度可以達(dá)8000個像素。高分辨率和高帶寬的結(jié)合使這種檢測應(yīng)用的AI算法可以更快,更有效地執(zhí)行,從而提高了制造過程的生產(chǎn)率。
圖2:XGS 45000的演示效果
再如用于監(jiān)控或廣播的影像應(yīng)用,圖像需求結(jié)合了上述性能,該應(yīng)用對圖像質(zhì)量的要求非常高,市場對分辨率的需求也不斷增長,從高清到4K到現(xiàn)在的8k,高分辨率提供了更強(qiáng)大的圖像結(jié)構(gòu)和細(xì)節(jié)可以看到寬視野的能力,還提供了用于AI分類的裁剪開窗的選項,來放大感興趣的內(nèi)容。安森美半導(dǎo)體的XGS 45000圖像傳感器實(shí)際上具有比8k視頻所需的分辨率更高,不僅可以使用少量裁切來提供8k視頻,還由于XGS 45000具有很高的帶寬,它可以60幀每秒的速度提供8k視頻以及完整的12位輸出,滿足了該應(yīng)用所需的高分辨率、高帶寬和高圖像質(zhì)量。
值得一提的是,安森美半導(dǎo)體也提供完整的參考設(shè)計X-Cube,基于X-class圖像傳感器系列, 在1.1英寸光學(xué)格式提供1600萬像素分辨率,提供用于機(jī)器視覺和ITS的 29 mm x 29 mm工業(yè)相機(jī)占位所需的成像細(xì)節(jié)和性能,且一個攝像機(jī)可支持多種分辨率,幫助設(shè)計人員加快開發(fā)。
圖3:高分辨率X-Cube 系統(tǒng)用于29 mm x 29 mm 相機(jī)設(shè)計
從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區(qū)域信息
除了圖像傳感器的性能提升,另外更為豐富的成像信息的集成也可以增強(qiáng)人工智能的性能,逐漸成為工業(yè)客戶做出明智決策的關(guān)鍵。
通過對多種模式和AI處理的投資,也使得安森美半導(dǎo)體具備獨(dú)特的優(yōu)勢,從僅提供三種紅綠藍(lán)(RGB)組成的成像系統(tǒng)發(fā)展到添加詳細(xì)的光譜特征,這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數(shù)據(jù),可以提高識別圖像的精度,從僅提供x、y二維定位信息到使用結(jié)合了深度像元技術(shù)或毫米波雷達(dá)、激光雷達(dá)技術(shù)和圖像融合后帶來深度信息,可更深入地了解檢測對象的全部體積大小高度等的信息,也就是深度學(xué)習(xí)。
所以現(xiàn)在圖像傳感器的開發(fā)正在從僅捕獲RGB信息轉(zhuǎn)移到新的形式,增強(qiáng)的數(shù)據(jù)集提供的信息將不僅僅是顏色和二維位置。圖像傳感器的廠家都在開發(fā)新技術(shù)以獲取更可靠的深度信息或者多光譜區(qū)域信息。比如開發(fā)通過融合內(nèi)部不同數(shù)據(jù)流的Super Depth像元技術(shù),開發(fā)通過有規(guī)律的結(jié)構(gòu),調(diào)制入射光振幅或相位的衍射光柵技術(shù),開發(fā)基于單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM)的傳感器等方式來實(shí)現(xiàn)為圖像提供更多的深度信息。
或者開發(fā)基于等離子體波導(dǎo)濾波片,或以法布里-珀羅(F-P)結(jié)構(gòu)原理為基礎(chǔ)的多通道分光濾光片制造技術(shù)實(shí)現(xiàn)在更多的光譜區(qū)域成像的超多光譜技術(shù)。
神經(jīng)網(wǎng)絡(luò)處理
隨著人工智能的發(fā)展,分類系統(tǒng)設(shè)計需要功能強(qiáng)大的圖像處理單元(GPU)或張量處理單元(TPU)神經(jīng)網(wǎng)絡(luò)處理器,因?yàn)橛?xùn)練和推理都需要大量計算,人工智能界正在面臨前所未有的算力挑戰(zhàn),網(wǎng)絡(luò)拓?fù)湫枰獢?shù)億個乘法和加法邏輯計算(MAC),需要數(shù)百萬個卷積神經(jīng)網(wǎng)絡(luò)參數(shù),就比如能實(shí)現(xiàn)分類/目標(biāo)檢測/語義分割等多目標(biāo)任務(wù)的MobileNetV2結(jié)構(gòu)就具有3億個MAC計算和420萬個參數(shù),但這相對于ResNet微結(jié)構(gòu),已經(jīng)是減少了9倍的計算量。
訓(xùn)練過程由于涉及海量的大數(shù)據(jù)和復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),需要的計算規(guī)模非常龐大,通常需要GPU或云去完成,推斷部署環(huán)節(jié)的計算量相比訓(xùn)練環(huán)節(jié)會少一些,但仍然涉及大量的矩陣運(yùn)算,通常在邊緣的高功率GPU / TPU上執(zhí)行以實(shí)現(xiàn)低延遲。面對深度學(xué)習(xí)的訓(xùn)練和推斷的算力需求,市場上大部分使用的是NVIDIA的GPU或google的TPU來實(shí)現(xiàn)。
AI的發(fā)展
要真正實(shí)現(xiàn)快速決策,AI也需要發(fā)展。 如今,用于成像的AI決策已從云過渡到邊緣再遷移到與成像系統(tǒng)本身。 比如把AI的訓(xùn)練環(huán)節(jié)保留在GPU或云端,利用堆棧工藝可以將決策或甚至與之相關(guān)的一些預(yù)處理集成到圖像傳感器上,比如在傳感器上集成用于圖像識別的底層或者輕算力的卷積神經(jīng)網(wǎng)絡(luò)層,集成具有內(nèi)存的數(shù)字矩陣乘法計算單元體系結(jié)構(gòu)。這些AI功能集成在圖像傳感器中都將會實(shí)現(xiàn),也已經(jīng)有公司發(fā)布了內(nèi)置人工智能引擎的圖像傳感器芯片。
如安森美半導(dǎo)體的融合了AI的水果新鮮度分類系統(tǒng)的演示,整個ECOsystem是基于安森美半導(dǎo)體的AR1335的相機(jī)和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結(jié)構(gòu)來處理分類新鮮和腐爛的蘋果、橘子、香蕉等6類多達(dá)上萬個CNN訓(xùn)練參數(shù),可以識別三種水果及其新鮮度,這個系統(tǒng)的準(zhǔn)確率達(dá)到97%以上。
圖4:AI用于機(jī)器視覺,識別水果新鮮度
總結(jié)
圖像傳感器的開發(fā)正在從僅提供RGB和二維坐標(biāo)信息轉(zhuǎn)移到新的更豐富的形式。 圖像傳感器可提供更多類型的數(shù)據(jù),無論是深度數(shù)據(jù)還是增加的光譜信息,以及AI合并這些數(shù)據(jù)集并實(shí)現(xiàn)高級決策,從而使系統(tǒng)能夠通過新的測量和決策機(jī)會提供更快、更準(zhǔn)確的結(jié)果。安森美半導(dǎo)體是工業(yè)機(jī)器視覺的領(lǐng)袖之一,以全方位的智能感知產(chǎn)品陣容和領(lǐng)先的技術(shù),應(yīng)對工業(yè)AI應(yīng)用挑戰(zhàn)并推進(jìn)智能制造的創(chuàng)新。
推薦閱讀:
特別推薦
- 授權(quán)代理商貿(mào)澤電子供應(yīng)Same Sky多樣化電子元器件
- 使用合適的窗口電壓監(jiān)控器優(yōu)化系統(tǒng)設(shè)計
- ADI電機(jī)運(yùn)動控制解決方案 驅(qū)動智能運(yùn)動新時代
- 倍福推出采用 TwinSAFE SC 技術(shù)的 EtherCAT 端子模塊 EL3453-0090
- TDK推出新的X系列環(huán)保型SMD壓敏電阻
- Vishay 推出新款采用0102、0204和 0207封裝的精密薄膜MELF電阻
- Microchip推出新款交鑰匙電容式觸摸控制器產(chǎn)品 MTCH2120
技術(shù)文章更多>>
- 更高精度、更低噪音 GMCC美芝電子膨脹閥以創(chuàng)新?lián)屨夹袠I(yè)“制高點(diǎn)”
- 本立租完成近億元估值Pre-A輪融資,打造AI賦能的租賃服務(wù)平臺
- 中微公司成功從美國國防部中國軍事企業(yè)清單中移除
- 華邦電子白皮書:滿足歐盟無線電設(shè)備指令(RED)信息安全標(biāo)準(zhǔn)
- 功率器件熱設(shè)計基礎(chǔ)(九)——功率半導(dǎo)體模塊的熱擴(kuò)散
技術(shù)白皮書下載更多>>
- 車規(guī)與基于V2X的車輛協(xié)同主動避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車安全隔離的新挑戰(zhàn)
- 汽車模塊拋負(fù)載的解決方案
- 車用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門搜索
單向可控硅
刀開關(guān)
等離子顯示屏
低頻電感
低通濾波器
低音炮電路
滌綸電容
點(diǎn)膠設(shè)備
電池
電池管理系統(tǒng)
電磁蜂鳴器
電磁兼容
電磁爐危害
電動車
電動工具
電動汽車
電感
電工電路
電機(jī)控制
電解電容
電纜連接器
電力電子
電力繼電器
電力線通信
電流保險絲
電流表
電流傳感器
電流互感器
電路保護(hù)
電路圖