DIGITIMES Research：人工智慧終端推論需求大爆發　專用晶片非唯一解答

隨深度學習(Deep Learning；DL)在圖像辨識、語音辨識及自然語言等領域快速發展，在雲端推論(cloud inferencing)之外，為滿足即時性、隱私、離線使用等特定場景，品牌及處理器業者紛紛投入適合終端推論(on device inferencing)的人工智慧(AI)處理器開發，在消費性電子領域中又以智慧型手機為代表的行動終端相關業者最為積極。

然而，與追求性能最大化的雲端AI運算不同，行動裝置上的AI推論能力受限於硬體資源，主流的CPU、GPU、DSP(Digital Signal Processor)及DLA(Deep Learning Accelerator，深度學習加速器)等四類AI處理器在能耗及使用彈性表現上各有優劣，業者需根據不同終端推論場景來搭配合適的處理器方案。

目前對終端推論有最大需求為視覺相關應用，但AI視覺處理依複雜度不同可分為三個層次，包括視覺感知、視覺建構及高階視覺處理，簡單的視覺處理可與行動系統中其他程序共用CPU及GPU來處理即可，然複雜視覺處理則必須以更專門的DSP或DLA來處理。

DIGITIMES Research研究並歸納主要行動裝置業者在終端推論處理器的策略。多數業者皆同時在複雜與簡單AI視覺處理的應用上有所布局，其中，針對較複雜的視覺處理，紛紛推出專用處理器來保障體驗並建立進入障礙，如蘋果(Apple)在iPhone X上的Face ID採用獨立的神經網路引擎(Neural Engine)深度學習加速器。

而在簡單視覺處理或一般性終端推論應用方面，業者多以擴大生態圈為策略，因此，開發平台傾向優先支援較普及的CPU或GPU。此部分以Google的TensorFlow for Mobile及TensorFlow Lite預設支援CPU為代表。