15818624218
郵箱：liusyscnc@qq.com
QQ：790708208
地址：深圳市光明區(qū)光明街道碧眼社區(qū)華強(qiáng)創(chuàng)意公園5棟A座19樓
當(dāng)前位置：機(jī)器視覺與圖像處理
機(jī)器視覺是人工智能領(lǐng)域中發(fā)展迅速的一個(gè)重要分支，目前正處于不斷突破、走向成熟的階段。一般認(rèn)為機(jī)器視覺“是通過光學(xué)裝置和非接觸傳感器自動(dòng)地接受和處理一個(gè)真實(shí)場(chǎng)景的圖像，通過分析圖像獲得所需信息或用于控制機(jī)器運(yùn)動(dòng)的裝置”，可以看出智能圖像處理技術(shù)在機(jī)器視覺中占有舉足輕重的位置。
智能圖像處理是指一類基于計(jì)算機(jī)的自適應(yīng)于各種應(yīng)用場(chǎng)合的圖像處理和分析技術(shù)，本身是一個(gè)獨(dú)立的理論和技術(shù)領(lǐng)域，但同時(shí)又是機(jī)器視覺中的一項(xiàng)十分重要的技術(shù)支撐。人工智能、機(jī)器視覺和智能圖像處理技術(shù)之間的關(guān)系如圖1所示。
圖1智能圖像處理的支撐作用
具有智能圖像處理功能的機(jī)器視覺，相當(dāng)于人們?cè)谫x予機(jī)器智能的同時(shí)為機(jī)器按上了眼睛，使機(jī)器能夠“看得見”、“看得準(zhǔn)”，可替代甚至勝過人眼做測(cè)量和判斷，使得機(jī)器視覺系統(tǒng)可以實(shí)現(xiàn)高分辨率和高速度的控制。而且，機(jī)器視覺系統(tǒng)與被檢測(cè)對(duì)象無接觸，安全可靠。
1、機(jī)器視覺技術(shù)
機(jī)器視覺的起源可追溯到20世紀(jì)60年代美國(guó)學(xué)者L.R.羅伯茲對(duì)多面體積木世界的圖像處理研究，70年代麻省理工學(xué)院(MIT)人工智能實(shí)驗(yàn)室“機(jī)器視覺”課程的開設(shè)。到80年代，全球性機(jī)器視覺研究熱潮開始興起，出現(xiàn)了一些基于機(jī)器視覺的應(yīng)用系統(tǒng)。90年代以后，隨著計(jì)算機(jī)和半導(dǎo)體技術(shù)的飛速發(fā)展，機(jī)器視覺的理論和應(yīng)用得到進(jìn)一步發(fā)展。
進(jìn)入21世紀(jì)后，機(jī)器視覺技術(shù)的發(fā)展速度更快，已經(jīng)大規(guī)模地應(yīng)用于多個(gè)領(lǐng)域，如智能制造、智能交通、醫(yī)療衛(wèi)生、安防監(jiān)控等領(lǐng)域。目前，隨著人工智能浪潮的興起，機(jī)器視覺技術(shù)正處于不斷突破、走向成熟的新階段。
在中國(guó)，機(jī)器視覺的研究和應(yīng)用開始于20世紀(jì)90年代。從跟蹤國(guó)外品牌產(chǎn)品起步，經(jīng)過二十多年的努力，國(guó)內(nèi)的機(jī)器視覺從無到有，從弱到強(qiáng)，不僅理論研究進(jìn)展迅速，而且已經(jīng)出現(xiàn)一些頗具競(jìng)爭(zhēng)力的公司和產(chǎn)品。估計(jì)隨著國(guó)內(nèi)對(duì)機(jī)器視覺研究、開發(fā)和推廣的不斷深入，趕上和超越世界水平已不是遙不可及的事情了。
常見機(jī)器視覺系統(tǒng)主要可分為兩類，一類是基于計(jì)算機(jī)的，如工控機(jī)或PC，另一類是更加緊湊的嵌入式設(shè)備。典型的基于工控機(jī)的機(jī)器視覺系統(tǒng)主要包括：光學(xué)系統(tǒng)，攝像機(jī)和工控機(jī)(包含圖像采集、圖像處理和分析、控制/通信)等單元，如圖2所示。機(jī)器視覺系統(tǒng)對(duì)核心的圖像處理要求算法準(zhǔn)確、快捷和穩(wěn)定，同時(shí)還要求系統(tǒng)的實(shí)現(xiàn)成本低，升級(jí)換代方便。
圖2 機(jī)器視覺系統(tǒng)示例
2、智能圖像處理技術(shù)
機(jī)器視覺的圖像處理系統(tǒng)對(duì)現(xiàn)場(chǎng)的數(shù)字圖像信號(hào)按照具體的應(yīng)用要求進(jìn)行運(yùn)算和分析，根據(jù)獲得的處理結(jié)果來控制現(xiàn)場(chǎng)設(shè)備的動(dòng)作，其常見功能如下：
(1)圖像采集
圖像采集就是從工作現(xiàn)場(chǎng)獲取場(chǎng)景圖像的過程，是機(jī)器視覺的第一步，采集工具大多為CCD或CMOS照相機(jī)或攝像機(jī)。照相機(jī)采集的是單幅的圖像，攝像機(jī)可以采集連續(xù)的現(xiàn)場(chǎng)圖像。就一幅圖像而言，它實(shí)際上是三維場(chǎng)景在二維圖像平面上的投影，圖像中某一點(diǎn)的彩色(亮度和色度)是場(chǎng)景中對(duì)應(yīng)點(diǎn)彩色的反映。這就是我們可以用采集圖像來替代真實(shí)場(chǎng)景的根本依據(jù)所在。
如果相機(jī)是模擬信號(hào)輸出，需要將模擬圖像信號(hào)數(shù)字化后送給計(jì)算機(jī)(包括嵌入式系統(tǒng))處理?，F(xiàn)在大部分相機(jī)都可直接輸出數(shù)字圖像信號(hào)，可以免除模數(shù)轉(zhuǎn)換這一步驟。不僅如此，現(xiàn)在相機(jī)的數(shù)字輸出接口也是標(biāo)準(zhǔn)化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計(jì)算機(jī)進(jìn)行處理，以免除在圖像輸出和計(jì)算機(jī)之間加接一塊圖像采集卡的麻煩。后續(xù)的圖像處理工作往往是由計(jì)算機(jī)或嵌入式系統(tǒng)以軟件的方式進(jìn)行。
(2)圖像預(yù)處理
對(duì)于采集到的數(shù)字化的現(xiàn)場(chǎng)圖像，由于受到設(shè)備和環(huán)境因素的影響，往往會(huì)受到不同程度的干擾，如噪聲、幾何形變、彩色失調(diào)等，都會(huì)妨礙接下來的處理環(huán)節(jié)。為此，必須對(duì)采集圖像進(jìn)行預(yù)處理。常見的預(yù)處理包括噪聲消除、幾何校正、直方圖均衡等處理。
通常使用時(shí)域或頻域?yàn)V波的方法來去除圖像中的噪聲;采用幾何變換的辦法來校正圖像的幾何失真;采用直方圖均衡、同態(tài)濾波等方法來減輕圖像的彩色偏離?？傊?，通過這一系列的圖像預(yù)處理技術(shù)，對(duì)采集圖像進(jìn)行“加工”，為體機(jī)器視覺應(yīng)用提供“更好”、“更有用”的圖像。
(3)圖像分割
圖像分割就是按照應(yīng)用要求，把圖像分成各具特征的區(qū)域，從中提取出感興趣目標(biāo)。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點(diǎn)等。例如，對(duì)汽車裝配流水線圖像進(jìn)行分割，分成背景區(qū)域和工件區(qū)域，提供給后續(xù)處理單元對(duì)工件安裝部分的處理。
圖像分割多年來一直是圖像處理中的難題，至今已有種類繁多的分割算法，但是效果往往并不理想。近來，人們利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行圖像分割，其性能勝過傳統(tǒng)算法。
(4)目標(biāo)識(shí)別和分類
在制造或安防等行業(yè)，機(jī)器視覺都離不開對(duì)輸入圖像的目標(biāo)進(jìn)行識(shí)別和分類處理，以便在此基礎(chǔ)上完成后續(xù)的判斷和操作。識(shí)別和分類技術(shù)有很多相同的地方，常常在目標(biāo)識(shí)別完成后，目標(biāo)的類別也就明確了。近來的圖像識(shí)別技術(shù)正在跨越傳統(tǒng)方法，形成以神經(jīng)網(wǎng)絡(luò)為主流的智能化圖像識(shí)別方法，如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、回歸神經(jīng)網(wǎng)絡(luò)(RNN)等一類性能優(yōu)越的方法。
(5)目標(biāo)定位和測(cè)量
在智能制造中，最常見的工作就是對(duì)目標(biāo)工件進(jìn)行安裝，但是在安裝前往往需要先對(duì)目標(biāo)進(jìn)行定位，安裝后還需對(duì)目標(biāo)進(jìn)行測(cè)量。安裝和測(cè)量都需要保持較高的精度和速度，如毫米級(jí)精度(甚至更小)，毫秒級(jí)速度。這種高精度、高速度的定位和測(cè)量，倚靠通常的機(jī)械或人工的方法是難以辦到的。在機(jī)器視覺中，采用圖像處理的辦法，對(duì)安裝現(xiàn)場(chǎng)圖像進(jìn)行處理，按照目標(biāo)和圖像之間的復(fù)雜映射關(guān)系進(jìn)行處理，從而快速精準(zhǔn)地完成定位和測(cè)量任務(wù)。
(6)目標(biāo)檢測(cè)和跟蹤
圖像處理中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤，就是實(shí)時(shí)檢測(cè)攝像機(jī)捕獲的場(chǎng)景圖像中是否有運(yùn)動(dòng)目標(biāo)，并預(yù)測(cè)它下一步的運(yùn)動(dòng)方向和趨勢(shì)，即跟蹤。并及時(shí)將這些運(yùn)動(dòng)數(shù)據(jù)提交給后續(xù)的分析和控制處理，形成相應(yīng)的控制動(dòng)作。圖像采集一般使用單個(gè)攝像機(jī)，如果需要也可以使用兩個(gè)攝像機(jī)，模仿人的雙目視覺而獲得場(chǎng)景的立體信息，這樣更加有利于目標(biāo)檢測(cè)和跟蹤處理。
如圖3所示，機(jī)器視覺應(yīng)用廣泛，如安防、制造、教育、出版、醫(yī)療、交通、軍事領(lǐng)域等。在這些機(jī)器數(shù)額的應(yīng)用中，智能圖像處理都是不可或缺的，這里僅簡(jiǎn)要介紹其中幾個(gè)方面的應(yīng)用。
圖3 常見機(jī)器視覺應(yīng)用場(chǎng)合
(1)教育考試
考試試卷時(shí)常發(fā)現(xiàn)因排版或印刷錯(cuò)誤影響學(xué)生考試，利用智能圖像處理技術(shù)，機(jī)器自動(dòng)對(duì)印刷后的試卷和原版試卷進(jìn)行比對(duì)，發(fā)現(xiàn)不一致之處，會(huì)自動(dòng)提示并報(bào)警，完全替代之前只能通過人工對(duì)試卷進(jìn)行校驗(yàn)。
(2)出版印刷
和教育考試類似，專業(yè)出版印刷廠由于印刷的圖書、報(bào)紙雜志，以及承接來自企業(yè)產(chǎn)品包裝和宣傳資料的種類多，數(shù)量大，排版和印刷中經(jīng)常出錯(cuò)。為此，需安排不少專業(yè)人員進(jìn)行校對(duì)，耗費(fèi)大量的資金和時(shí)間。通過利用智能圖像處理技術(shù)進(jìn)行自動(dòng)校對(duì)，既提高了校對(duì)準(zhǔn)確度，又縮短了校對(duì)時(shí)間，降低了印刷成本，縮短了出版物的交付周期。
(3)安防監(jiān)控
這是當(dāng)前備受機(jī)器視覺關(guān)注的一個(gè)領(lǐng)域。機(jī)器視覺打破了傳統(tǒng)視頻監(jiān)控系統(tǒng)的限制，增加了系統(tǒng)的智能，使得智能視頻分析得以逐步實(shí)現(xiàn)。以公共場(chǎng)所的視頻監(jiān)控為例，通過運(yùn)用機(jī)器視覺技術(shù)，可以實(shí)現(xiàn)對(duì)可疑人物的自動(dòng)檢測(cè)、人臉識(shí)別、實(shí)時(shí)跟蹤，必要時(shí)還可以實(shí)現(xiàn)多攝像機(jī)接連跟蹤，同時(shí)發(fā)出告警，存儲(chǔ)現(xiàn)場(chǎng)信息。
(4)智能交通
機(jī)器視覺在交通領(lǐng)域有著廣泛的應(yīng)用。例如，在高速公路上及卡口處，對(duì)來往車輛進(jìn)行車型、牌照等識(shí)別，甚至對(duì)行駛車輛的違規(guī)行為進(jìn)行識(shí)別。在汽車上對(duì)駕駛員面部圖像進(jìn)行分析，判斷駕駛員是否處于疲勞駕駛狀態(tài)。再如，無人駕駛汽車借助于機(jī)器視覺技術(shù)，使用攝像頭、激光/毫米波/超聲波雷達(dá)、GPS等感知道路環(huán)境信息，自動(dòng)規(guī)劃和控制車輛的安全行駛。
有數(shù)據(jù)顯示，2016年全球機(jī)器視覺系統(tǒng)的市場(chǎng)規(guī)模約46億美元， 2017年約50億美元，預(yù)計(jì)2018年達(dá)到55億美元，年增長(zhǎng)率為10%左右。中國(guó)機(jī)器視覺市場(chǎng)的增長(zhǎng)是從2010年開始的，2017年市場(chǎng)規(guī)模約68億元，預(yù)計(jì)到2020年或達(dá)780億元，市場(chǎng)增長(zhǎng)率將超過100%。
4、技術(shù)瓶頸及今后的發(fā)展
在機(jī)器視覺的智能圖像處理技術(shù)的發(fā)展中，還存在不少技術(shù)瓶頸，如：
(1)穩(wěn)定性：某種處理方法往往在研究和開發(fā)中表現(xiàn)良好，但在復(fù)雜多變的應(yīng)用環(huán)境中，卻不時(shí)地出現(xiàn)問題。例如人臉識(shí)別系統(tǒng)，在目標(biāo)配合時(shí)識(shí)別率可高達(dá)95%以上，但在實(shí)際監(jiān)控環(huán)境下，識(shí)別率就會(huì)大大下降。
(2)實(shí)時(shí)性：如果圖像的采集速度、處理速度較慢，再加上新近引入的深度學(xué)習(xí)類算法，加大了系統(tǒng)實(shí)時(shí)處理的難度，跟不上機(jī)器運(yùn)行和控制的節(jié)奏。
(3)準(zhǔn)確性：機(jī)器視覺系統(tǒng)要求圖像識(shí)別和測(cè)量的準(zhǔn)確性接近100%，任何微小的誤差都有可能帶來不可預(yù)測(cè)的后果。例如目標(biāo)定位的誤差會(huì)使裝配出來的設(shè)備不符合要求。
(4)系統(tǒng)能力：目前的嵌入式圖像處理系統(tǒng)，存在芯片的計(jì)算能力不足，存儲(chǔ)空間有限等問題，常常不能滿足運(yùn)算量較大的圖像處理運(yùn)算，如神經(jīng)網(wǎng)絡(luò)的迭代運(yùn)算，大規(guī)模矩陣運(yùn)算等。
今后機(jī)器視覺中智能圖像處理的發(fā)展主要體現(xiàn)在以下幾個(gè)方面：
(1)算法：傳統(tǒng)算法繼續(xù)不斷有所突破，新一波人工智能浪潮帶來不少新的性能優(yōu)良的圖像處理算法，如深度學(xué)習(xí)(DL)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)，生成對(duì)抗網(wǎng)絡(luò)(GAN)，等等。
(2)實(shí)時(shí)性：出現(xiàn)更多結(jié)構(gòu)新穎、資源充足、運(yùn)算快速的硬件平臺(tái)支撐，例如基于多CPU、多GPU的并行處理結(jié)構(gòu)的計(jì)算機(jī)，海量存儲(chǔ)單元等。
(3)嵌入式：新的高速的信號(hào)處理器陣列，超大規(guī)模FPGA芯片。
(4)融合處理：從單圖像傳感器發(fā)展到多傳感器(多視點(diǎn))的融合處理，可更加充分地獲取現(xiàn)場(chǎng)信息。還可融合多類傳感器，如圖像傳感器、聲音傳感器、溫度傳感器等共同完對(duì)現(xiàn)場(chǎng)目標(biāo)定位、識(shí)別和測(cè)量。
總之，無論是“中國(guó)制造2025”還是“工業(yè)4.0”都離不開人工智能，離不開計(jì)算機(jī)視覺，而智能圖像處理是機(jī)器視覺的核心技術(shù)，隨著圖像處理水平的不斷提高，一定會(huì)有力地推動(dòng)機(jī)器視覺的迅速發(fā)展。