多感測器數據融合用於產線視覺檢測

視覺檢測是大多數品管工作流程的基石。由人工執行時，過程昂貴，容易出錯且效率低落: 一成至兩成的誤判過篩/偏移率及生產瓶頸很常見。以零檢出產線生產品管產品**(IQZeProd** (Inline Quality control for Zero-error Products) 為名，Fraunhofer IWU的研究人員開發新的產線監控解決方案，以求在生產過程中儘早辨識各種材料(例如木材、塑料、金屬和塗漆的表面)的瑕疵。系統使用來自多種感測器的多感測器數據融合技術，在零組件經過生產線時識別結構和表面缺陷。目標是透過提高檢測過程可靠性及改進檢測缺陷，創造強大且持續性高的工業生產過程。系統的核心是研究人員自行開發的Xeidana®軟體框架及20台工業相機的模組。研究人員對相機特定的要求標準：全局快門黑白感測器、低震動實時觸發、超高數據速率進行可靠數據傳輸、且能直接集成到軟體框架中。他們選擇了The Imaging Source 兆鎂新GigE Vision標準工業相機。

Xeidana提供處理光學，熱感應，多光譜，偏振或非光學感測器（例如渦電流）的數據所需的靈活性，而許多檢測任務則需透過標準光學感測器提供的數據而完成。項目經理亞歷山大·皮耶爾（Alexander Pierer）表示 :「我們經常使用數據融合來多重掃描關鍵零組件區域。多重包含從不同角度掃描同一區域，來模擬手動檢測過程中使用的『鏡像』。」為了獲取完成這些任務所需的視覺數據，研究人員創建了一個由20台TIS相機組成的模組：19台黑白相機 (DMK 33G445)及1台彩色相機 (DFK 33GX273)。

黑白感測器: 最適瑕疵檢測

由於其固有的物理特性，黑白感測器能呈現比彩色感測器更高的細節，更高的靈敏度及更低的噪點。 皮耶爾指出：「黑白感測器足以檢測因表面亮度差異所引起的缺陷。雖然顏色數據對我們人類非常重要，但在技術應用中，顏色數據通常無法提供其他資料。我們使用彩色相機，透過 HSI變換進行色調分析，以檢測可能顯示塗料厚度有問題的顏色偏差。」

任務需求和短曝光時間意味著工程師對於相機選擇有非常精確的標準設定，皮耶爾繼續說明：「主要選擇標準是全局快門和實時觸發，震動極低，因為我們必須在很短的曝光時間內(10µs的範圍內)拍攝移動中的零件。相機和Lumimax照明(iiM AG)之間的曝光（通過硬體輸入觸發）必須絕對同步。對於我們來說，很重要的一點是，感興趣區域 (ROI) 已限制在相機韌體內相關區域，來優化圖像傳輸的網絡負載。此外，我們仰賴在極高速率時還能進行可靠的數據傳輸。由於零組件已在過程中被檢測過了，因此不會出現圖像錯誤或碎片化的圖像傳輸。」

電動變焦相機可快速調整觀測範圍(FOV)

在項目過程中，團隊構建了多個系統：用於工業設置以及示範和測試目的。典型工業環境中受檢測的零組件持續不停移動，DMK 33G445和DFK 33GX273相機提供的定焦成像滿足了團隊的要求。然而，針對示範/測試系統，研究人員使用許多不同零組件進行測試，包括金屬零件，木製毛坯和3D印刷塑料，就需要具有可調節觀測範圍（FOV）的相機。The Imaging Source 兆鎂新 DMK Z12G445黑白變焦相機具有集成電動變焦功能，符合任務要求。

大規模並行處理技術可與數據傳輸保持同步並實現深度學習

通過20多種不同類型的感測器向系統傳送數據，可以應對400 MB / s量級的數據流。皮耶爾解釋：「該系統的設計吞吐速度高達1 m / s，…，每三到四秒，二十個相機模組就可以創建400張圖像。此外，來自高光譜的線陣相機和粗糙度測量系統，都必須在10秒週期內處理和評估完成。為了滿足這一要求，必須要有大規模並行數據處理的能力，包含28核心 (CPU）和顯卡（GPU）。這種並行化使檢測系統能夠與生產週期保持同步，提供具有100％控制能力的產線系統。」Xeidana的模組化框架特別針對現代多核系統能夠進行大規模並行處理的能力進行優化，使應用工程師能夠使用這個插件系統 (可透過多種不同圖像數據庫來延展新功能) 快速實現大規模並行、特殊應用的品管項目。

此系統的數據融合功能可以通過多種方式使用，取決於需要什麼樣的資料來提供最可靠的結果。除了標準的機器視覺檢測任務外，研究人員團隊目前正努力整合其他非破壞性評測技術，例如3D視覺以及不可見光的其他種類感測器（例如X射線、雷達、紫外線、太赫茲）來檢測其他類型的表面和內部缺陷。

由於Xeidana支援大規模並行處理，深度學習技術也可用於檢測標準不容易量化或定義的零組件的瑕疵檢測。皮耶爾澄清：「這些技術對於具有不規則質地的有機成分（例如木材和皮革）以及紡織品尤其重要。」 由於機器學習技術有時難以在某些情況下應用（例如，分類決策的可追溯性有限，以及在調試過程中無法手動調整演算法），皮耶爾補充：「我們主要依靠經典的圖像處理演算法和信息處理的統計方法來執行我們的項目。只有達到極限時，我們才轉向機器學習。」

致謝：The Imaging Source 兆鎂新歐洲總部是IQZeProd計畫產業工作組活躍成員，並且與研究合作夥伴進行密切的專業交流。德國測量控制和系統工程研究協會(DFMRS)的促進聯合工業研究計劃(IGF)項目IQZeProd （232 EBG）-DFMRS是由德國國際金融基金會在聯邦經濟和能源部根據德國聯邦議院決議通過的促進聯合工業研究計劃資助。請注意，促進聯合工業研究計劃項目232 EBG的最終報告已公開給德國民眾。最終報告可從德國測量控制與系統技術研究協會獲得。根據德國聯邦議院的決議，由聯邦經濟和能源部支援。