樣式比對(Pattern Matching)

機器視覺利用相機擷取影像,運用電腦做影像分析,再依結果做出判斷及決策。樣式比對(pattern matching)為機器視覺中應用的相當多的一項工具之一,以下會介紹如何用SmaSEQ平台來進行樣式比對:

如下圖,我們利用事前已經二值化好的影像來做示範,假設這是在一條流水線上所取得的影像,上面散佈著各式各樣形狀的零件,我們想要將這些零件依照形狀做分類,放置到正確的料盒當中。

首先,我們先打開SmaVision模組, 載入這張影像

接著框選ROI( Region of Interest),就是感興趣的區域,只針對這個區域做分析,ROI可以不只一個,但在這我們只需要一個,所以就只建立一個ROI。

接著在選擇Pattern Match這個影像分析工具,在此處我們設定好指定的模板(template),譬如這邊我選定了一個帶有鋸齒的圓盤,影像中一樣的零件就會被找出來,紅框即是透過影像分析工具所找到的結果。

最後,利用影像分析工具所找出的結果會有產生什麼樣的資訊,又該怎麼利用呢?在Result的頁面會提供這些結果的資訊,可以選擇我們要輸出的資訊,比較常用的像是比對結果的數量、座標、角度、比對分數…等等,在這個案例中就會使用到座標,因為我們要進行分類,所以就可以把得到的座標告訴手臂或是馬達,讓這些裝置去做物料的移載。

以上就是利用SmaSEQ當中的SmaVision模組所做的樣式比對應用,是不是很容易!

如何選擇適合你的機器視覺

隨著工業4.0的趨勢起飛,機器視覺在智慧工廠的應用變得越來越重要。但要如何選擇適合你應用場合的機器視覺方案呢? 一般來說可以分兩個方面來考慮

  1. 機器視覺套裝軟體

所謂的套裝軟體就是一整套設計好的軟體,如同我們常常使用的Word, Powerpoint的一樣,是一個獨立執行的軟體。使用者無需會程式語言,就可以操作,通常會藉由編輯視覺流程的方式來讓使用者可以快速完成視覺專案。對於想要進入機器視覺領域的人來說,選擇機器視覺套裝軟體是一個很好的入門的起步。 市面上有許多的機器視覺套裝軟體,各別定價的落差也大,當然不同廠家支援的功能以及運算效能等也都會有差別,有些套裝軟體會根據能夠使用的視覺函式庫數量做收費,也有些會有指定的硬體,這些都是在挑選適合的視覺軟體所要注意的。

而偲倢科技的機器視覺方案(SmaVision)則是一個高CP值的機器視覺解決方案,使用者可以使用全部功能的視覺函式庫外,搭配強大的排程功能以及IO控制,讓使用者不僅可以快速完成簡單的視覺專案,也可以輕鬆完成複雜的視覺案子,除此之外還可以自由定義OP模式顯示頁面,還能夠透過多種的方式跟外部設備溝通,讓工廠的設備輕鬆升級到掛載視覺系統的功能。

  1. 機器視覺函式庫

對於懂得寫程式(ex: C++ / C# / LabVIEW 等等) 的使用者來說,常常套裝軟體反而侷限住了他們的彈性,特別是對於需要高度整合視覺/手臂/軸控的應用來說,這些使用者會傾向自己能夠去使用底層的視覺函式庫,整合進他們的程式裡面來完成專案。當然,這樣的方式的技術門檻就比較高一些。 市面上也有許多公司在販售機器視覺函式庫,且通常收費都是每套電腦都會收一筆run-time費用。 也就是若在一台電腦上開發好了一個包含某家廠商視覺函式庫的軟體,要把它複製的其它的電腦做運行,那每一套複製的電腦都得付一筆費用給這家廠商,有點像是Windows作業系統的授權一樣。 自己整合視覺函式庫的最大好處就是自主性最高,可以自己決定要做出怎麼樣的軟體,而不用受限於機器視覺套裝軟體,但缺點就是進入門檻較高,也比較不容易維護。

SmaVision其實也給要用機器視覺函式庫的使用者提供了另一個選擇,因為SmaVision有強大的排程功能,所以使用者不用花時間去完成排程的程式碼。另外SmaVision有個特點是可以支援CallVI, 所以使用者可以將想要整合的函式庫做成一個VI放到SmaVision裡面去執行,同樣保有了某種程度的自主性,但又可以省下許多寫程式的時間。

 

什麼是影像前處理?

在我們擷取影像時,可能由於環境的影響,譬如: 現場光源干擾、震動、待測物本身條件…等等,在這些狀況下,導致所取得的影像品質不佳,或是影像中有我們不需要的資訊,這時就必須透過一些方法對影像做合適的處理,達到去除雜訊、增強影像…等的效果,藉此改善影像的品質,將我們需要的資訊凸顯出來,使影像可以用於後續的影像分析,這個過程稱之為前處理。本篇會介紹較常用的影像前處理方式,二值化與型態學:

  • 二值化

所謂二值化影像即是影像中只有「黑」與「白」的表現,將一個彩色影像轉為灰階影像後,針對影像中的每個像素點,設定一個灰階值標準,也稱作閥值(threshold), 灰階值大於標準的像素點轉為白點,灰階值小於標準的像素點轉為黑點,經過轉換就可以得到一張二值化影像。

閥值的設定通常是透過直方圖的分布來選擇適合的值,如圖一,直方圖的分佈有明顯的波峰波谷,位於波谷的閥值可以區分圖像中的兩個不同灰階區塊,這就是一個適合的閥值設定;圖二為二值化後的直方圖分布,所有像素點灰階值依標準被轉換為0或255,也就是黑或

白。

圖一             圖二

透過二值化處理,可以將一些隱藏在圖像中或是不易發覺的資訊有效的顯現出來,譬如我們想要找出圖三影像中的雜質,若不做任何的影像處理,既不易篩選且會耗費大量的時間,但若是經過二值化處理後,如圖四,所有的雜質都被篩選出來顯示於影像中,不僅清楚並且快速。

圖三      圖四

  • 形態學

形態學大多是利用二值化的影像做後續的處理,根據應用的需求,來增強影像上的特徵或是紋理,主要分為四種方式

  1. 侵蝕(erosion)

透過侵蝕演算法可以消除影像中一些雜訊,下圖即為侵蝕的效果,可以看到做完侵蝕處理的二值化影像,黑色邊框中的白色雜訊數量受到侵蝕而減少。

  1. 膨脹(dilation)

透過膨脹演算法可以對偵測到的邊緣做增強,將影像中的間隙填補起來,下圖即為膨脹的效果,膨脹處理後影像會擴大

  1. 斷開(opening)

斷開的處理為先侵蝕再膨脹,目的在使物體的輪廓平滑,除去影像中的雜訊小點,消除窄小的細線,也就是斷開物體與物體間的較細的連結,使物體可以較明顯的區分開來。如下圖,左圖為一張蓋在紙上的指紋,因為轉印的關係,有許多的雜訊,透過斷開處理,可以消除許多雜訊,並且使指紋的輪廓更加平滑。

  1. 閉合(closing)

閉合的處理為先膨脹再侵蝕,目的也是平滑輪廓,只是方式與斷開的處理相反,閉合的功用是先將影像中的一些小洞和斷線填補起來,讓原本應是一體的物件趨向完整。如下左圖中的數字某些部分有殘破的現象,經過閉合處理後,會如右圖中所示,影像中的殘破的現象減少了,數字會變得較完整。

工業相機鏡頭參數與選擇

   在自動化工業領域中,使用機器視覺作位置判斷或者是瑕疵檢測是很常見的事情,所以這之中就會牽涉到如何幫工業相機挑選適合的鏡頭就變成很重要的事情,有適合的鏡頭才有機會讓照片呈現出需要看到的特徵。

 

挑選工業相機鏡頭前,有幾個參數得先了解

 

  • 焦距(Focus Length)

焦距是鏡頭中心點到平面上形成清晰影像之間所需的距離。焦距的大小會影響視角的大小。 焦距數值小,視角就大,看到的範圍也大。反之焦距大,視角就小,看到的範圍就小。

  • 鏡頭接口(Mount)

工業鏡頭與工業相機的連接方式。規格包括C、CS、F、V、T2、Leica、M42x1、M75x0.75等。常用的則是C-Mount規格。

 

  • 景深(Deep of Field, DOF)

景深是指在被攝物體聚焦清楚後,在物體前後一定距離內,其影像仍然清晰的範圍。景深跟鏡頭的光圈值、焦距、拍攝距離有關。

-光圈大,景深則小。光圈小、景深則大。

-焦距長,景深則小。焦距短,景深則大。

-拍攝距離小,景深則小。拍攝距離大,景深則大。

  • 光圈(Aperture)

通常用F表示,其為鏡頭焦距f和通光孔徑D的比值,F越小,光圈越大。F越大,光圈越小。通常鏡頭上都會標註最大F值。

 

  • 解析度(Resolution)

解析度指的是鏡頭能量測物體細節的能力。解析度越高的鏡頭成像越清晰。

 

  • 視野範圍(Field of View,FOV)

相機實際成像所看到的區域的大小。

 

  • 工作距離( Working Distance, WD)

鏡頭第一工作面到量測物體平面的距離。

 

  • 數值孔徑(Numerical Aperture, NA)

數值孔徑等於物體與物鏡間媒質的折射率n與物鏡孔徑角的一半(a\2)的正弦值的乘積(公式為N.A=n*sina/2)。數值孔徑跟其它光學參數有關,它跟解析度成正比,也與放大率成正比。 數值孔徑大,解析度則高,數值孔徑小,解析度則小。

 

  • 光學放大倍數(Magnification,ß)

晶片尺寸除以視野範圍(CCD/FOV)

 

  • 法蘭距(Flange distance)

法蘭距相機接口平面到晶片的距離。在線掃描鏡頭或者大感應尺寸相機的鏡頭選擇時,法蘭距是一個重要參數,它會直接決定鏡頭的配置。有時候就算是相機接口相同,但相機廠商不同時, 也會造成不同的法蘭距數值。

 

  • 對應最大CCD尺寸 (Sensor Size)

這是指鏡頭成像直徑可覆蓋的最大CCD尺寸。常見規格有1/2″、2/3″、1″和1″以上。

 

 

 

了解了鏡頭的參數後,再來就是如何挑選鏡頭

 

  • 確認鏡頭接口與對應的最大CCD尺寸:

確認所選用的工業相機與工業相機鏡頭接口是否匹配。工業鏡頭的最大CCD尺寸是否大於會等於工業相機中的CCD尺寸

 

  • 選擇適合的鏡頭焦距(f):

其可由工作距離(WD),相機尺寸(Sensor Size),以及視野(FOV)三個參數來算出

  • 選擇適合的光圈(Aperture):

光圈大小決定圖像的亮度。拍攝高速移動的物體時、則曝光時間需要短,這時該選用大光圈鏡頭,提高圖像的亮度。

 

 

Tag: 工業鏡頭選擇, 焦距計算, FOV, 工作距離,解析度