適合邊緣應用的中階視覺 AI 微處理器

邊緣 AI 應用可利用電腦視覺演算法即時偵測人員、物件，或是缺陷等異常狀況。在邊緣端處理影像與影片通常需要具備視覺 AI 微處理器 (MPU)，其不僅能與攝影機介接、執行 AI 模型，通常也含有專用的 AI 加速器。

將視覺 AI 功能整合到單一裝置中，即可降低使用個別元件的成本和體積，因此先進的視覺 AI 處理器 (MPU) 非常適合用於緊湊型嵌入式應用。

Renesas Electronics Corporation 的 RZ/V2N MPU (圖 1) 是一款視覺 AI MPU，具備低功耗、高 AI 推論效能、四核心 Arm® Cortex® A55 CPU (1.8 GHz)、單核心 Arm Cortex-M33 (200 MHz)，以及透過 MIPI 連接的雙攝影機輸入。

圖1：Renesas 的 RZ/V2N MPU 能讓設計人員有新的選擇，可在邊緣應用中納入視覺 AI。(圖片來源：Renesas Electronics Corporation)

Renesas 的這款 MPU 是符合成本效益的解決方案，適合需以可負擔價格點提供中階至高階 AI 能力的邊緣應用。更屬於該公司的 RZ/V 系列一部分，能在智慧辦公室到無人機的眾多領域提供廣泛擴充性 (圖 2)。

圖2：RZ/V2N 在 RZ/V 系列中定位為中階產品，可促成像是家用移動式機器人，以及駕駛員監測系統等應用。(圖片來源：Renesas Electronics Corporation)

視覺 AI 微處理器的要求

邊緣 AI 應用通常在嵌入式裝置中運作，且這些裝置可能由電池供電或以低儲備能量來運作。因此，視覺 MPU 不僅要提供高推論能力，而且耗電量更要低於傳統高效能的運算裝置。

理想的視覺 AI MPU 可在效能、電源效率、整合性、開發便利性與安全性之間達到平衡。以下將概述挑選 MPU 時要考量的一些主要特點：

• 推論效能：RZ/V2N 利用其整合的 DRP-AI3 加速器，提供高達 15 TOPS 的運算能力，因此適合用於中階應用，如智慧攝影機、工業檢驗及邊緣端機器人。雖然某些高效能系統，如協作式機器人和自主式無人機可能需要 80 至 100 TOPS，但許多邊緣 AI 應用5僅需以 1 至 15 TOPS 就可良好運作，視複雜度而定。每瓦 TOPS (TOPS/W) 可指出產品的效率，即測量其每一秒每一瓦特可以執行多少運算。

雖然 TOPS 提供效能的基準指標，但實際的推理速度可以納入專用的 AI 加速器來大幅提升，該加速器能將仰賴大量矩陣和張量運算的視覺 AI 工作負載進行轉移。如此一來，系統就能以更少的時脈週期和更低的功耗，達到更快速且更有效率的運作。

• 低功耗操作：許多邊緣裝置依靠電池運作，或具有嚴格的散熱限制。針對邊緣 AI 設計的視覺 MPU 通常含有動態電壓與頻率調整 (DVFS)，可依據工作負載的需求調整電力使用。DVFS 結合了神經網路修剪 (壓縮模型大小並減少不必要的計算) 等技術，有助於達到更高的 TOPS/W 比率，因此能延長運作時間和電池續航力。DRP-AI3 加速器有助於避免使用耗電量大的 GPU，因此能促進邊緣端的 TOPS/W 提高。
• 晶片上影像處理：視覺微處理器可選配內建影像訊號處理器 (ISP)，即可執行例行的影像清理任務，例如黑階校正、色彩校正、裁剪與陰影校正。在保全或監視應用中，ISP 也可以對影格進行預先過濾。例如，在持續的視訊串流中，系統可能會捨棄靜態影格，只將有動作或活動 (如入侵者偵測) 的影格傳送至 AI 處理器，以減少不必要的推論並節省電力。
• 晶片上記憶體：記憶體也是影響效能和效率的重要因素。將資料保留在本地可避免存取外部記憶體所帶來的延遲和功耗，這在即時 AI 推論過程中明顯可見。RZ/V2N 具備 1.5 MB 晶片上 SRAM 並支援 LPDDR4X 記憶體，可在內部處理速度與可擴充記憶體選項之間取得平衡。
• 加速 AI 部署：AI 工具套件及評估板含有預先編程的應用程式和介面，能幫助開發人員快速建立原型並部署視覺 AI 應用。此外，MPU 應可支援標準的 AI 模型格式。RZ/V2N 相容於標準模型格式，如 ONNX 及 TensorFlow Lite。
• 安全性：在邊緣環境中，每個感測器或端點都可能成為潛在的攻擊層面。因此，對視覺 MPU 來說，具備內建安全功能的支援相當重要，例如安全開機和加密資料路徑。RZ/V2N 含有安全開機與硬體層級的加密功能，並可利用 Arm TrustZone 來隔離安全操作，有助於保護模型完整性及敏感的輸入資料。

RZ/V2N MPU 的 AI 設計友善特點

Renesas 自行研發的 AI 加速器 DRP-AI3 (可動態重新配置處理器) 額定值為 10 TOPS/W，但可透過進階修剪技術，將系統必須處理的模型大小壓縮，因此可將效能增進至高達 15 TOPS/W。如此一來，就無需獨立的圖形處理單元 (GPU) 或現場可編程閘陣列 (FPGA)。

RZ/V2N 僅佔 15 平方毫米，適合用於緊湊型裝置。在單一裝置內納入四核心 CPU、專用的 AI 加速器以及雙攝影機輸入支援，能為設計人員開啟新契機，將視覺 AI 整合到智慧攝影機、保全裝置、機器人乃至消費性電器中。

MPU 以低功耗運作減少發熱，因此不需要額外的散熱系統及風扇，可進一步縮減嵌入式系統的大小與成本。可容納兩台攝影機，能讓應用擷取雙角度影像並提升空間識別能力。單一系統就可執行多重操作，例如同時計算停車場中的車輛數量並辨識車牌。

RZ/V2N MPU 的架構

RZ/V2N MPU 提供全方位的特點和功能，專門針對需要高效能且價格平易近人的中階 AI 市場應用而設計 (圖 3)。

圖 3：RZ/V2N 架構圖。(資料來源：Renesas Electronics Corp.)

一些關鍵的特點包括：

• 中央處理器 (CPU)：此混合式架構搭載了 Cortex-A55 四核心 1.8 GHz 高效能 CPU 及 Cortex-M33 200 MHz 低功耗核心，專為即時控制及安全相關任務設計。
• 內部共享記憶體：1.5 MB RAM 晶片上記憶體，具有錯誤修正碼 (ECC)，有助於確保資料完整性。ECC 演算法能在儲存和傳輸過程中偵測並修正資料錯誤。1.5 MB 晶片上記憶體能讓 AI 演算法快速執行；RZ/V2N 亦具備可連接外部 DDR 記憶體的介面，若有需要更多記憶體，就可添加。
• AI 加速器：Renesas 的 DRP-A13 專用 AI 引擎可促成高速 AI 推理處理，可達到端點所需的低功耗與靈活性。
• 視訊和圖形：可選配圖形處理單元 (GPU) 和 ISP，能更有效率處理影像和渲染圖形。
• 計時器：計時器可支援即時操作，這對於馬達控制及其他自動化應用來說相當重要。
• 音訊模塊：適用於多聲道音訊應用，如智慧揚聲器及車用資訊娛樂系統。
• 介面：視覺微處理器模組可連接的眾多介面也包含高速記憶體介面和高頻寬周邊裝置。
• 類比模塊：具有 12 位元類比數位轉換器 (ADC)，因此控制系統或監測應用中無需獨立的 ADC。

Renesas 也提供 RZ/V2N 用的 RTK0EF0186C03000BJ 評估板套件，能讓設計人員建立原型並評估視覺 AI 應用 (圖 4)。設計人員也可透過該公司在 GitHub 上的 AI 應用程式及 AI SDK，存取涵蓋 50 多種使用案例的 AI 應用程式。

圖 4：RZ/V2N 的評估板套件包含 CPU 板、擴充板及兩個子板，並附有 AI SDK。(圖片來源：Renesas Electronics Corp.)

結論

Renesas 的 RZ/V2N 非常適合中階邊緣 AI 應用，能以低延遲及高速處理，提供資料導向的資訊。採用緊湊的尺寸並可滿足推論需求，同時達到低功耗，因此適用於多種嵌入式裝置。