融合管線與車載執行環境

模組化平台涵蓋感測器資料擷取、校正、多模態融合、模型訓練、最佳化及車載推論。

開發車輛,感測器套件

多感測器感知流程

平台為資料擷取、校正、融合、模型訓練、最佳化及車載推論提供明確介面。

  1. 01

    感測資料平面

    擷取並同步光達、雷達、超音波與攝影機串流,並搭配逐車校正。

    • 硬體時戳擷取
    • 逐車校正紀錄
    • 版本化資料集
  2. 02

    校正與融合

    將每個模態對齊到同一座標系與時間基準,再融合為共享表徵。

    • 內參與外參校正
    • 時間對齊與飄移檢查
    • 統一空間表徵
  3. 03

    模型訓練

    在融合表徵上訓練感知與規劃模型,並適配各感測器組。

    • 多模態感知模型
    • 情境式評估
    • 硬體感知訓練
  4. 04

    端側執行環境

    在固定預算內,於車用 SoC 上編譯、量化並執行模型。

    • 量化與蒸餾
    • 決定性排程
    • 延遲與功耗預算

這套流程可執行於您或我們的基礎架構。訓練在資料中心進行,推論則在車上進行。

感測器校正實驗室

從感測資料接入到模型評估

平台提供從感測器資料管理到模型部署與評估的一體化工程流程。

感測器資料平台

以硬體時戳為基礎,匯入、同步並版本控管 LiDAR、雷達、超音波與相機串流,並記錄逐車校正資料。

校正與融合

內參與外參校正、時間對齊與漂移監測,產出模型可直接消費的單一空間表徵。

多模態模型

以融合表徵訓練的感知與規劃模型,並依您的感測器組態進行調適。

模型最佳化

針對車上車用 SoC 的量化、蒸餾、剪枝與硬體感知調校。

端側執行環境

決定性推論、即時排程,以及安全界限內的規劃與控制。

評估與工具

情境模擬、迴歸測試套件,以及讓各模型版本結果可相互比較的資料集版本控管。

各階段的運作要求

運作要求於正式環境堆疊上量測,涵蓋感測器輸入、校正、融合、訓練、模型匯出及車載推論。

感測器
LiDAR、毫米波雷達、超音波與相機,統一於同一個硬體時間戳、已校正的時間基準上。
校正
逐車進行內參與外參校正,並具備漂移監測與校正版本記錄。
融合
共享的空間表徵,在新增、替換或移除感測器時仍保持有效。
訓練
多節點 GPU 訓練,具備檢查點、彈性排程與故障復原能力。
模型匯出
針對車用 SoC 的量化格式,透過硬體感知的調校步驟產出。
端側推論
具決定性的排程,從感知到規劃皆有明確上限的延遲與功耗預算。
車頂安裝的 LiDAR 與相機陣列

多感測器校正與融合

LiDAR、雷達、超音波與相機資料於模型訓練前完成逐車校正,並對齊至共用座標框架與時間基準。

融合於共享時空表徵中完成,感測器配置變更則透過校正及資料集版本管理處理。

  • 逐車校正並監測漂移
  • 四種模態間的硬體時間戳同步
  • 雷達與超音波和相機、LiDAR 一同融合
車用運算模組

部署架構

訓練與資料處理可部署於公有雲、私有雲、地端或邊緣環境;量化推論模型部署於車輛。

  • 公有雲

    在受管理的基礎設施上進行彈性訓練與資料處理,適合需要快速起步的專案。

  • 私有雲或地端部署

    位於您的網路內,受您的資料治理與存取控制規範管理。

  • 邊緣

    在貼近資料蒐集處進行區域處理,讓資料傳輸量維持在有限範圍內。

  • 車上

    量化後的模型與執行環境運行於車用運算平台,並落在延遲與功耗預算之內。

架構與整合評估

評估範圍包括感測器配置、校正要求、目標車用運算平台、部署限制及第一階段範圍。