一、機(jī)器視覺(jué)概況
(一)什么是機(jī)器視覺(jué)
機(jī)器視覺(jué)是一門涉及人工智能、計(jì)算機(jī)科學(xué)、圖像處理、模式識(shí)別等諸多領(lǐng)域的交叉學(xué)科。主要用計(jì)算機(jī)軟件來(lái)模擬人的視覺(jué)功能,從客觀事物的圖像中提取信息,進(jìn)行處理并最終用于實(shí)際檢測(cè)、測(cè)量和控制。
圖表1 機(jī)器視覺(jué)涉及到的技術(shù)
機(jī)器視覺(jué)技術(shù)最大的特點(diǎn)是速度快、信息量大、功能多。機(jī)器視覺(jué)系統(tǒng)主要由圖像的獲取、圖像的處理和分析、輸出或顯示三部分組成。
圖表2 機(jī)器視覺(jué)系統(tǒng)示意圖
資料來(lái)源:華泰證券研究所
(二)機(jī)器視覺(jué)系統(tǒng)工作原理
機(jī)器視覺(jué)系統(tǒng)采用相機(jī)將被檢測(cè)的目標(biāo)轉(zhuǎn)換成圖像信號(hào),傳送給專用的圖像處理系統(tǒng),根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號(hào),圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算而抽取目標(biāo)的特征,如面積、數(shù)量、位置、長(zhǎng)度等,再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果,實(shí)現(xiàn)測(cè)量檢測(cè)、引導(dǎo)定位、自動(dòng)識(shí)別等功能。圖表3 機(jī)器視覺(jué)系統(tǒng)工作原理示意圖
二、機(jī)器視覺(jué)系統(tǒng)構(gòu)成
(一)光源
一個(gè)合適的光源是機(jī)器視覺(jué)系統(tǒng)正常運(yùn)行的必備條件。使用光源的目的是將被測(cè)物體與背景盡量明顯分別,獲得高品質(zhì)、高對(duì)比度的圖像。
光源主要分為三種,高頻熒光燈、鹵素?zé)艉蚅ED光源,三者中LED光源相對(duì)高頻熒光燈和鹵素?zé)?,具有更高的性價(jià)比。
圖表4 機(jī)器視覺(jué)主要光源對(duì)比
資料來(lái)源:電子發(fā)燒友,華泰證券研究所
(二)鏡頭
盡管照相機(jī)、分析軟件和照明對(duì)于機(jī)器視覺(jué)系統(tǒng)都是十分重要的,可能最關(guān)鍵的元件還是工業(yè)相機(jī)鏡頭。當(dāng)為控制系統(tǒng)選擇鏡頭的時(shí)候,機(jī)器視覺(jué)系統(tǒng)集成商需考慮四個(gè)主要因素:可以檢測(cè)的物體類別和特性、景深或焦距、加載和檢測(cè)距離、運(yùn)行環(huán)境。(三)相機(jī)
機(jī)器視覺(jué)相機(jī)的目的是將通過(guò)鏡頭投影到傳感器的圖像傳送到能夠儲(chǔ)存、分析和/或顯示的機(jī)器設(shè)備上。按照芯片類型可以分為CCD相機(jī)和CMOS相機(jī)。
CCD和CMOS是現(xiàn)在普遍采用的兩種圖像工藝技術(shù),它們之間的主要差異在于傳送方式的不同,二者的性能方面也有很大區(qū)別:
1、噪聲差異
由于CMOS的每個(gè)感光二極管都需要搭配一個(gè)放大器,而CCD只需要一個(gè)放大器放在芯片邊緣,與CMOS相比,它的噪聲相對(duì)減少很多,大大提高了圖像品質(zhì)。
2、耗電量差異
CCD的耗電量遠(yuǎn)遠(yuǎn)高出CMOS,根據(jù)計(jì)算CMOS的耗電量?jī)H是 CCD的1/8~1/10。
3、分辨率差異
讀取信號(hào)時(shí),CMOS是點(diǎn)直接讀取信號(hào),CCD則是行間接讀取信號(hào),因此在像素尺寸相同的情況下,CMOS的靈敏度要低于CCD。
4、成本差異
由于CMOS與現(xiàn)有的集成電路生產(chǎn)工藝大致相同,可以一次全部整合周邊設(shè)施到傳感器芯片中,而CCD采用電荷傳遞的方式輸出數(shù)據(jù),只要其中有一個(gè)像素傳送出現(xiàn)故障,就會(huì)導(dǎo)致一整排的數(shù)據(jù)無(wú)法正常傳送。因此,CCD的制造成本就相對(duì)高于CMOS傳感器。
(四)圖像采集卡
在機(jī)器視覺(jué)檢測(cè)系統(tǒng)中,圖像采集卡是機(jī)器視覺(jué)系統(tǒng)中的一個(gè)重要部件,它是圖像采集部分和圖像處理部分的接口。一般具有以下的功能模塊:
1、圖像信號(hào)的接收與A/D轉(zhuǎn)換模塊
該模塊負(fù)責(zé)圖像信號(hào)的放大與數(shù)字化。有用于彩色或黑白圖像的采集卡。
2、攝像機(jī)控制輸入輸出接口
主要負(fù)責(zé)協(xié)調(diào)攝像機(jī)進(jìn)行同步或?qū)崿F(xiàn)異步重臵拍照、定時(shí)拍照等。
3、總線接口
負(fù)責(zé)通過(guò)PC機(jī)內(nèi)部總線高速輸出數(shù)字?jǐn)?shù)據(jù),一般是PCI接口,傳輸速率可高達(dá)130Mbps,完全能勝任高精度圖像的實(shí)時(shí)傳輸。
(五)圖像處理軟件
用軟件對(duì)圖像進(jìn)行處理的過(guò)程,是整個(gè)機(jī)器視覺(jué)技術(shù)的核心,只有在軟件將采集到的圖像數(shù)據(jù)化以后,機(jī)器才能進(jìn)行識(shí)別和檢測(cè)等功能。機(jī)器視覺(jué)圖像處理軟件的選擇,決定著檢測(cè)算法的準(zhǔn)確性。
機(jī)器視覺(jué)企業(yè)之間的競(jìng)爭(zhēng),說(shuō)到底就是算法準(zhǔn)確性的競(jìng)爭(zhēng),因此每個(gè)企業(yè)都會(huì)投入很多的資源對(duì)核心軟件進(jìn)行開(kāi)發(fā)。國(guó)內(nèi)這方面比較出色的機(jī)器視覺(jué)軟件,例如維視圖像的MVIPS圖像處理軟件,應(yīng)用比較廣泛。
三、機(jī)器視覺(jué)產(chǎn)業(yè)鏈
機(jī)器視覺(jué)行業(yè)的上游有光源、鏡頭、工業(yè)相機(jī)、圖像采集卡、圖像處理軟件等的提供商;下游市場(chǎng)是半導(dǎo)體和電子制造行業(yè),除此之外,在汽車、印刷包裝、煙草、農(nóng)業(yè)、醫(yī)藥和交通等領(lǐng)域也有廣泛應(yīng)用。
圖表5 機(jī)器視覺(jué)產(chǎn)業(yè)鏈上下游
四、機(jī)器視覺(jué)發(fā)展歷程
(一)國(guó)外機(jī)器視覺(jué)的發(fā)展歷程
機(jī)器視覺(jué)的早期研究是從20世紀(jì)60年代中期美國(guó)學(xué)者L.R.羅伯茲關(guān)于理解多面體組成的積木世界研究開(kāi)始的。當(dāng)時(shí)所運(yùn)用的預(yù)處理、邊緣檢測(cè)、輪廓線構(gòu)成、對(duì)象建模、匹配等技術(shù),后來(lái)一直在機(jī)器視覺(jué)中應(yīng)用。在隨后的發(fā)展歷程中,曾出現(xiàn)過(guò)三個(gè)關(guān)鍵階段:
20世紀(jì)70年代:CCD圖像傳感器(攝像機(jī))的出現(xiàn)替代了硅靶攝像,為機(jī)器視覺(jué)提供了更加可靠清晰的圖像;另一方面,機(jī)器視覺(jué)形成幾個(gè)重要研究分支,包括目標(biāo)制導(dǎo)的圖像處理、圖像處理和分析的并行算法、從二維圖像提取三維信息、序列圖像分析和運(yùn)動(dòng)參量求值、視覺(jué)知識(shí)的表示、視覺(jué)系統(tǒng)的知識(shí)庫(kù)等。
20世紀(jì)80年代:CPU、DSP等圖像處理硬件技術(shù)的飛速進(jìn)步,為機(jī)器視覺(jué)飛速發(fā)展提供了基礎(chǔ)條件。
2000年以來(lái):基于LED光源的任意光場(chǎng)設(shè)計(jì)使機(jī)器視覺(jué)在各種行業(yè)的應(yīng)用成為可能,機(jī)器視覺(jué)技術(shù)進(jìn)入下一個(gè)高速發(fā)展階段。
圖表6 國(guó)外機(jī)器視覺(jué)技術(shù)的主要發(fā)展歷程
(二)我國(guó)機(jī)器視覺(jué)的發(fā)展歷程
我國(guó)的機(jī)器視覺(jué)是伴隨著中國(guó)工業(yè)化進(jìn)程的發(fā)展而崛起的,從20世紀(jì)90年代末開(kāi)始起步,經(jīng)歷了啟蒙階段、初步發(fā)展階段和快速發(fā)展階段。
啟蒙階段(20世紀(jì)90年代至2003年):中國(guó)企業(yè)主要通過(guò)代理業(yè)務(wù)對(duì)客戶進(jìn)行服務(wù),從了解圖像的采集和傳輸過(guò)程、理解圖像的品質(zhì)優(yōu)劣開(kāi)始,到初步利用國(guó)外視覺(jué)軟硬件產(chǎn)品搭建簡(jiǎn)單的機(jī)器視覺(jué)初級(jí)應(yīng)用系統(tǒng),開(kāi)啟了中國(guó)機(jī)器視覺(jué)行業(yè)的歷史歷程。在這一階段,一些對(duì)品質(zhì)有較高要求同時(shí)對(duì)成本不特別敏感的工業(yè)領(lǐng)域成為最早的受益者,例如特種印刷行業(yè)(人民幣的印刷)、煙草行業(yè)等。
初步發(fā)展階段(2004年至2007年):我國(guó)的機(jī)器視覺(jué)企業(yè)開(kāi)始探索自主研發(fā)機(jī)器視覺(jué)的軟硬件,同時(shí)在機(jī)器視覺(jué)的多個(gè)應(yīng)用領(lǐng)域取得關(guān)鍵性突破。器件方面,國(guó)內(nèi)企業(yè)陸續(xù)推出全系列模擬接口和USB2.0接口的相機(jī)和采集卡;設(shè)備和系統(tǒng)集成方面,機(jī)器視覺(jué)在電子制造設(shè)備中蓬勃發(fā)展,如PCB檢測(cè)、SMT檢測(cè)等國(guó)產(chǎn)設(shè)備興起,填補(bǔ)了國(guó)內(nèi)市場(chǎng)需求。此階段,機(jī)器視覺(jué)的應(yīng)用領(lǐng)域逐漸擴(kuò)展到汽車、制藥包裝、棉紡、鋼鐵等行業(yè)中。
高速發(fā)展階段(2008年至今):近十年來(lái),從相機(jī)、采集卡、光源、鏡頭到圖像處理軟件,數(shù)十家機(jī)器視覺(jué)核心器件研發(fā)制造企業(yè)陸續(xù)涌現(xiàn)。機(jī)器視覺(jué)在PCB、半導(dǎo)體、太陽(yáng)能、LCD、煙草、印刷、表面檢測(cè)、制藥包裝、汽車等多個(gè)行業(yè)得到了廣泛的應(yīng)用,最具代表性的是在消費(fèi)電子制造業(yè)中的應(yīng)用。
當(dāng)前,中國(guó)正逐漸成為世界機(jī)器視覺(jué)發(fā)展最為活躍的地區(qū)之一,應(yīng)用領(lǐng)域幾乎涵蓋國(guó)民經(jīng)濟(jì)的各個(gè)行業(yè)。主要應(yīng)用領(lǐng)域包括:工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、天文、公安、交通、安全、科研等領(lǐng)域,工業(yè)領(lǐng)域是機(jī)器視覺(jué)應(yīng)用比例最大的領(lǐng)域。
五、機(jī)器視覺(jué)的核心優(yōu)勢(shì)
機(jī)器視覺(jué)是實(shí)現(xiàn)儀器設(shè)備精密控制、智能化、自動(dòng)化的有效途徑和實(shí)現(xiàn)計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù),是現(xiàn)代工業(yè)生產(chǎn)和智能制造的“機(jī)器眼睛”。
機(jī)器視覺(jué)自動(dòng)化設(shè)備可以代替人工不知疲倦的進(jìn)行重復(fù)性的工作,且在一些不適合于人工作業(yè)的危險(xiǎn)工作環(huán)境或人工視覺(jué)難以滿足要求的場(chǎng)合,機(jī)器視覺(jué)可替代人工視覺(jué)。
圖表7 人類視覺(jué)與機(jī)器視覺(jué)的特點(diǎn)對(duì)比
六、機(jī)器視覺(jué)行業(yè)競(jìng)爭(zhēng)格局
工業(yè)4.0戰(zhàn)略的展開(kāi)方向之一就是智能工廠,在這場(chǎng)新變革中,機(jī)器人的研制和開(kāi)發(fā)起到了決定性的作用。正如上文中提到,機(jī)器視覺(jué)的最先應(yīng)用來(lái)自于“機(jī)器人”的研制,機(jī)器人行業(yè)的蓬勃發(fā)展也為機(jī)器視覺(jué)的研制提供了極大的推動(dòng)力,而機(jī)器視覺(jué)的發(fā)展水平也是工業(yè)4.0進(jìn)程中的重要一環(huán)。
在當(dāng)前的市場(chǎng)環(huán)境下,機(jī)器視覺(jué)的產(chǎn)業(yè)的發(fā)展前景十分廣闊,自動(dòng)化越來(lái)越高的產(chǎn)業(yè)體系對(duì)機(jī)器視覺(jué)的需求度日益提高。硬件制作水平的提高和軟件研發(fā)隊(duì)伍的壯大也使得機(jī)器視覺(jué)的識(shí)別水平不斷提高,完全可以滿足工業(yè)自動(dòng)化的要求。
從行業(yè)應(yīng)用來(lái)看,電子制造業(yè)是拉動(dòng)需求高速增長(zhǎng)的主要因素。一方面,電子制造業(yè)的高需求促進(jìn)了機(jī)器視覺(jué)市場(chǎng)的擴(kuò)大和完善;另一方面,機(jī)器視覺(jué)系統(tǒng)的成熟和應(yīng)用也加速了各行業(yè)的生產(chǎn)力進(jìn)步,二者相互作用。
從產(chǎn)業(yè)區(qū)域分布來(lái)看,美日的創(chuàng)新水平和產(chǎn)業(yè)完整水平最高,其主導(dǎo)地位在短期內(nèi)難以撼動(dòng)。而中國(guó)也逐漸成為一個(gè)新的爆發(fā)點(diǎn),其市場(chǎng)占有額也有追趕美日的趨勢(shì)。
1、美國(guó)康耐視(Cognex Corp)——視覺(jué)讀碼專家
康耐視公司是為制造自動(dòng)化領(lǐng)域提供視覺(jué)系統(tǒng)、視覺(jué)軟件、視覺(jué)傳感器和表面檢測(cè)系統(tǒng)的全球領(lǐng)先提供商。同時(shí)也是領(lǐng)先的工業(yè)ID讀碼器提供商。
近年來(lái),康耐視公司在機(jī)器視覺(jué)的應(yīng)用方面做出了很大成績(jī),通過(guò)遍布北美、歐洲、日本、亞洲和拉丁美洲的辦公室,以及集成與分銷合作伙伴全球網(wǎng)絡(luò)為國(guó)際客戶提供服務(wù)。
在這30余年的發(fā)展之路中,康耐視遭遇了各種各樣的技術(shù)和應(yīng)用問(wèn)題,但隨著生產(chǎn)水平的不斷提升,這家國(guó)際機(jī)器視覺(jué)巨頭不斷突破難關(guān),打開(kāi)市場(chǎng),也完成了一次又一次的商業(yè)轉(zhuǎn)型。
2、日本基恩士(Keyence)——機(jī)器視覺(jué)行業(yè)的世界領(lǐng)跑者
基恩士自1974年以來(lái)一直穩(wěn)步成長(zhǎng),現(xiàn)已成為開(kāi)發(fā)與制造傳感設(shè)備的世界領(lǐng)先者,產(chǎn)品范圍包括傳感器、測(cè)量?jī)x器、視覺(jué)系統(tǒng)、激光刻印機(jī)以及數(shù)碼顯微鏡。不僅能夠滿足許多制造與研究行業(yè)客戶現(xiàn)在的需求,而且還能夠滿足它們將來(lái)的需求。
七、機(jī)器視覺(jué)的技術(shù)路徑
目前,微軟Kinect、英特爾RealSense、Orbbec等3D深度視覺(jué)整體解決方案廣泛應(yīng)用在各類消費(fèi)級(jí)產(chǎn)品。隨著光學(xué)元器件集成度提升、模組方案成本下降以及相關(guān)算法不斷優(yōu)化,3D深度視覺(jué)技術(shù)將進(jìn)一步滲透到其他工業(yè)級(jí)應(yīng)用領(lǐng)域。
3D深度視覺(jué)技術(shù)實(shí)現(xiàn)路徑包括:雙目視覺(jué)技術(shù)、結(jié)構(gòu)光技術(shù)、ToF(Time of Flight)技術(shù)。
(一)雙目視覺(jué)技術(shù)
雙目視覺(jué)的基礎(chǔ)原理是基于三角測(cè)量原理,我們并排放置兩個(gè)相機(jī),利用投影光學(xué)系統(tǒng)可使兩個(gè)相機(jī)視野在所需求的物距發(fā)生重疊,通過(guò)每個(gè)相機(jī)拍攝的圖片,我們可以捕捉到不同視角的場(chǎng)景。
圖表8 雙目視覺(jué)技術(shù)工作示意圖
(二)結(jié)構(gòu)光技術(shù)
結(jié)構(gòu)光技術(shù)是一種主動(dòng)式光學(xué)測(cè)量技術(shù),其基本原理是由結(jié)構(gòu)光(有特殊模式的光,比如離散光斑、條紋光、編碼結(jié)構(gòu)光等等)投射器向被測(cè)物體表面投射可控制的光點(diǎn)、光條或光面結(jié)構(gòu),并由圖像傳感器(如攝像機(jī))獲得圖像,通過(guò)系統(tǒng)幾何關(guān)系,利用三角原理計(jì)算得到物體的三維坐標(biāo)。
圖表9 結(jié)構(gòu)光技術(shù)工作示意圖
(三)ToF技術(shù)
ToF技術(shù)就是計(jì)算光線飛行的時(shí)間,首先讓裝置發(fā)出脈沖光,并且在發(fā)射處接收目標(biāo)物的反射光,由此來(lái)測(cè)量時(shí)間差而計(jì)算出目標(biāo)物的距離,從而創(chuàng)建物體或場(chǎng)景的3D深度圖。
圖表10 ToF技術(shù)工作原理示意圖
雙目視覺(jué)技術(shù)是采用兩個(gè)2D的傳感器模擬人眼,而結(jié)構(gòu)光技術(shù)和ToF技術(shù)都是利用主動(dòng)光源技術(shù),主動(dòng)發(fā)射紅外波段光源,照射場(chǎng)景,再根據(jù)反射回的成像來(lái)計(jì)算深度。
圖表11 三種實(shí)現(xiàn)3D視覺(jué)的技術(shù)路徑對(duì)比