NEC與東京工業大學共同研發「多模態影像融合技術」

NEC與日本國立大學法人東京工業大學工學院奧富正敏教授、田中正行客座副教授等人的研究團隊（以下簡稱東京工業大學），共同研發「多模態影像融合技術」，運用AI技術將一般攝影機拍攝的可見光影像、熱顯像攝影機拍攝的不可見光影像進行自動合成，針對影像中拍攝的對象與狀況，大幅提高辨別度。

在各個需要以視覺瞬間辨別的領域中，運用本技術，即使在惡劣條件下也能夠做出正確判斷。舉例來說，在夜晚或濃霧等惡劣氣候狀況下，也能用於設施監控；對向來車的頭燈太過刺眼或暗處視覺死角的狀況，可用於支援自動駕駛；進行基礎設施維護點檢時，不僅可監測建築表面裂縫，還能找出內部異常等情形。

以往，想要將不同種類攝影機拍攝的影像合成，需要專家進行複雜的手動轉檔作業。本技術則能運用AI，將各種不同攝影機拍攝的影像，自動而高效率地進行合成，不需要任何手動作業。不僅如此，更能充分利用可見光影像與不可見光影像各自的優勢，傳統技術難以視覺化的環境條件下，也能獲得較高的視覺辨別度。

NEC與東京工業大學，未來也將透過產學合作的形式，針對各項社會基礎設施，作為能夠安全、安心運作的安全事業之關鍵，持續共同研發影像處理及AI相關技術。

背景

近年來，影像感測器的硬體不斷提升、成本持續下降，因此越來越常見將熱顯像攝影機、可拍出物體內部構造的X光／太赫茲波(THz波)／毫米波攝影機等不可見光攝影機，運用在夜晚、濃霧等惡劣天候，或是逆光、遮蔽等不利條件下，來進行監控與判斷。但是與可見光攝影機相比，這些不可見光攝影機的解析度與畫質較低，由於難以辨認，因此必須要搭配設置可見光攝影機共同使用，互相參照比較兩種攝影機拍下的影像來進行監控與判斷，所以很難迅速判別出正確的對象與狀況。傳統的情況下，會由熟悉不同種類的攝影機與攝影環境的專家，手動挑選各自適合的影像來進行合成。除此之外，包括不可視光影像在內，在手動合成的過程中，可能會遺漏掉影像中的異常、是否有危險物品的情況，這也是本次需要解決的課題。

NEC與東京工業大學，讓AI學習專家們的轉檔技巧，進而能夠將可視光與不可視光攝影機拍攝的影像自動合成，不僅效果卓越，拍攝對象與情況的辨別度也相當高，即使在惡劣的環境下也能迅速判斷是否有異常情況或危險物品，這就是本次所共同研發的「多模態影像融合技術」。

新技術的特點

本技術能讓AI自動從多個影像中，挑選出較易辨別的影像進行合成，並強調不可見光影像之中的細小特徵，這樣的方式打破了傳統侷限，因此能合成做出高辨識度的影像。

AI會依據攝影機的種類（如熱顯像攝影機或太赫茲攝影機）、環境特徵（亮度、光線方向、是否有障礙物等），針對影像內各個部份的辨識程度進行評比，進而從不同影像中自動選出最適合的。

此外，AI在處理不可見光攝影機所拍攝的影像時，能夠針對異常或危險物品等細小特徵來解析，進行適當的強弱調整，避免產生過度曝光或曝光不足而破壞影像的情形，因而能自動產生以往無法達到的高辨識度多模態（可見光與不可見光）合成影像。