フュージョンパイプラインと車載ランタイム

マルチセンサー知覚パイプライン

データ取り込み、キャリブレーション、融合、モデル学習、最適化、車載推論に定義済みのインターフェースを提供します。

1. 01

   センサーデータプレーン

   LiDAR、レーダー、超音波、カメラのストリームを取り込み、車両ごとのキャリブレーションとともに同期します。

   • ハードウェアタイムスタンプによる取得
   • 車両ごとのキャリブレーション記録
   • バージョン管理されたデータセット
2. 02

   キャリブレーションと融合

   すべてのモダリティを同一の座標系と時間基準に整え、共有の表現へ融合します。

   • 内部・外部キャリブレーション
   • 時間同期とドリフト検査
   • 統合された空間表現
3. 03

   モデル学習

   融合した表現上で知覚・計画モデルを学習し、センサー構成ごとに適応させます。

   • マルチモーダル知覚モデル
   • シナリオベースの評価
   • ハードウェアを考慮した学習
4. 04

   車載ランタイム

   固定の予算内で、車載 SoC 上にモデルをコンパイルし、量子化して実行します。

   • 量子化と蒸留
   • 決定論的スケジューリング
   • 遅延と消費電力の予算管理

このパイプラインはお客様のインフラでも当社のインフラでも動作します。学習はデータセンターで、推論は車両上で行います。

段階ごとの運用要件

センサー入力、キャリブレーション、融合、学習、モデル出力、車載推論の運用要件を量産スタック上で計測します。

センサー

LiDAR、ミリ波レーダー、超音波、カメラを、ハードウェアタイムスタンプ付きの校正済み単一時間軸上で扱います。

校正

車両ごとの内部・外部キャリブレーションを、ドリフト監視と校正バージョンの記録とともに。

フュージョン

センサーを追加、交換、取り外しても有効であり続ける共有の空間表現。

トレーニング

チェックポイント、エラスティックなスケジューリング、障害復旧を備えたマルチノード GPU トレーニング。

モデルエクスポート

ハードウェアを考慮したチューニング工程を経て生成される、車載 SoC 向けの量子化フォーマット。

車載推論

知覚からプランニングまで、上限のあるレイテンシーと電力バジェット内での決定論的スケジューリング。

• パブリッククラウド

  迅速に開始したいプログラム向けに、マネージドインフラ上でエラスティックなトレーニングとデータ処理を提供します。

• プライベートクラウドまたはオンプレミス

  お客様のネットワーク内で、お客様のデータガバナンスとアクセス制御の体制のもとに。

• エッジ

  データが収集される場所の近くで地域処理を行い、転送量を抑えます。

• 車載

  量子化されたモデルと runtime を自動車用コンピュート上で、レイテンシーと電力バジェット内で動作させます。