Fusionspipeline und Laufzeit im Fahrzeug

Eine modulare Plattform für Sensordatenerfassung, Kalibrierung, multimodale Fusion, Modelltraining, Optimierung und Inferenz im Fahrzeug.

Entwicklungsfahrzeug, Sensorsuite

Multisensor-Wahrnehmungspipeline

Die Plattform bietet definierte Schnittstellen für Datenerfassung, Kalibrierung, Fusion, Modelltraining, Optimierung und Inferenz im Fahrzeug.

  1. 01

    Sensor-Datenebene

    LiDAR-, Radar-, Ultraschall- und Kameraströme mit fahrzeugspezifischer Kalibrierung aufnehmen und synchronisieren.

    • Erfassung mit Hardware-Zeitstempeln
    • Kalibrierungsprotokolle je Fahrzeug
    • Versionierte Datensätze
  2. 02

    Kalibrierung & Fusion

    Jede Modalität auf ein gemeinsames Koordinatensystem und eine Zeitbasis ausrichten und zu einer gemeinsamen Repräsentation fusionieren.

    • Intrinsische und extrinsische Kalibrierung
    • Zeitliche Ausrichtung und Drift-Prüfungen
    • Einheitliche räumliche Repräsentation
  3. 03

    Modelltraining

    Wahrnehmungs- und Planungsmodelle auf der fusionierten Repräsentation trainieren, angepasst an jeden Sensorsatz.

    • Multimodale Wahrnehmungsmodelle
    • Szenariobasierte Evaluierung
    • Hardwarebewusstes Training
  4. 04

    Laufzeit an Bord

    Das Modell innerhalb eines festen Budgets auf dem Automotive-SoC kompilieren, quantisieren und ausführen.

    • Quantisierung und Destillation
    • Deterministisches Scheduling
    • Latenz- und Leistungsbudget

Die Pipeline läuft auf Ihrer oder unserer Infrastruktur. Das Training findet im Rechenzentrum statt, die Inferenz im Fahrzeug.

Kalibrierlabor für Sensorik

Vom Sensor-Ingest bis zur Modellbewertung

Die Plattform bietet einen integrierten Engineering-Workflow von der Sensordatenverwaltung bis zu Modellbereitstellung und Evaluation.

Sensor-Datenplattform

Hardwaregestempeltes Ingest, Synchronisation und Versionierung von LiDAR-, Radar-, Ultraschall- und Kameraströmen, mit fahrzeugweisen Kalibrierungsaufzeichnungen.

Kalibrierung & Fusion

Intrinsische und extrinsische Kalibrierung, zeitliche Ausrichtung und Drift-Überwachung, die eine räumliche Repräsentation erzeugen, die das Modell nutzen kann.

Multimodale Modelle

Wahrnehmungs- und Planungsmodelle, trainiert auf der fusionierten Repräsentation und angepasst an Ihre Sensorkonfiguration.

Modell-Optimierung

Quantisierung, Destillation, Pruning und hardwarebewusstes Tuning für das Automotive-SoC im Fahrzeug.

Runtime im Fahrzeug

Deterministische Inferenz, Echtzeit-Scheduling und sicherheitsbegrenzte Planung und Regelung.

Evaluation & Tooling

Szenariosimulation, Regressions-Suites und Datensatzversionierung, die Ergebnisse über Modellrevisionen hinweg vergleichbar halten.

Betriebsanforderungen je Pipeline-Stufe

Betriebsanforderungen werden auf dem Produktions-Stack für Sensoreingang, Kalibrierung, Fusion, Training, Export und Inferenz im Fahrzeug gemessen.

Sensoren
LiDAR, Millimeterwellenradar, Ultraschall und Kamera auf einer hardwaregestempelten, kalibrierten Zeitbasis.
Kalibrierung
Fahrzeugweise intrinsische und extrinsische Kalibrierung, mit Drift-Überwachung und aufgezeichneten Kalibrierungsversionen.
Fusion
Eine gemeinsame räumliche Repräsentation, die gültig bleibt, wenn ein Sensor hinzugefügt, ersetzt oder entfernt wird.
Training
Multi-Node-GPU-Training mit Checkpointing, elastischer Planung und Fehlerwiederherstellung.
Modell-Export
Quantisierte Formate für Automotive-SoCs, erzeugt über einen hardwarebewussten Tuning-Schritt.
Inferenz im Fahrzeug
Deterministische Planung mit einem begrenzten Latenz- und Leistungsbudget von der Wahrnehmung bis zur Planung.
Dachmontiertes LiDAR- und Kamera-Array

Multisensor-Kalibrierung und Fusion

LiDAR-, Radar-, Ultraschall- und Kameradaten werden vor dem Modelltraining fahrzeugweise kalibriert und auf ein gemeinsames Koordinatensystem sowie eine gemeinsame Zeitbasis ausgerichtet.

Die Fusion erfolgt in einer gemeinsamen raum-zeitlichen Repräsentation; Änderungen der Sensorkonfiguration werden über Kalibrierung und Datensatzversionierung verwaltet.

  • Kalibrierung pro Fahrzeug mit Drift-Überwachung
  • Hardwaregestempelte Synchronisation über vier Modalitäten
  • Radar und Ultraschall fusioniert mit Kamera und LiDAR
Automotive-Compute-Modul

Bereitstellungsarchitektur

Training und Datenverarbeitung laufen in Public Cloud, Private Cloud, On-Premise oder Edge-Umgebungen; quantisierte Inferenzmodelle laufen im Fahrzeug.

  • Public Cloud

    Elastisches Training und Datenverarbeitung auf verwalteter Infrastruktur, für Programme, die schnell starten.

  • Private Cloud oder On-Premise

    In Ihrem Netzwerk, unter Ihrem Data-Governance- und Zugriffskontrollregime.

  • Edge

    Regionale Verarbeitung nahe am Ort der Datenerfassung, wodurch Übertragungen begrenzt bleiben.

  • Im Fahrzeug

    Das quantisierte Modell und die Runtime auf Automotive-Compute, innerhalb des Latenz- und Leistungsbudgets.

Architektur- und Integrationsbewertung

Die Bewertung umfasst Sensorkonfiguration, Kalibrierungsanforderungen, Zielrechner im Fahrzeug, Bereitstellungsbedingungen und anfänglichen Umfang.