Zum Inhalt springen

Von 50% auf 95% Erkennungsgenauigkeit, unbeaufsichtigt im Feld

Wie ein Verkehrserfassungssystem vom funktionierenden Pilot zu 300+ autonomen Sensoreinheiten im Produktionsbetrieb kam, mit jeder Architekturentscheidung auf den unbeaufsichtigten Feldeinsatz ausgelegt.

Auftraggeber: Head of Product, deutsches Verkehrstechnik-Unternehmen Verkehrsmonitoring, Smart City

Erkennungsgenauigkeit, vorher ~50%
95%
Einheiten im Feld
300+
auf Jetson Orin NX
30+ FPS
Kamera bis Ergebnis
< 200 ms

Die Herausforderung

Der Kunde brauchte ein Verkehrserfassungssystem, das autonom und zuverlässig an Kreuzungen, mehrspurigen Straßen und Kreisverkehren arbeitet. Die bestehende Lösung erkannte Fahrzeuge mit rund 50% Genauigkeit. Für einen Produktionsbetrieb mit hunderten Sensoreinheiten reichte das bei weitem nicht.

Gefragt war nicht nur ein besseres Modell, sondern ein Gesamtsystem, das unter realen Bedingungen 24/7 stabil läuft: bei Nacht, bei Regen, bei wechselnden Lichtverhältnissen, über Wochen und Monate unbeaufsichtigt im Feld.

Der Lösungsansatz

Unser Ansatz war von Anfang an auf den Produktionsbetrieb ausgerichtet. Statt die Erkennungsgenauigkeit isoliert zu verbessern, haben wir das komplette System entwickelt, von der Hardware-Integration bis zur Sicherheitsarchitektur.

Der entscheidende Unterschied: Jede Architekturentscheidung ging davon aus, dass hunderte dieser Einheiten wochen- und monatelang unbeaufsichtigt im Feld stehen.

Wir haben die Inferenz-Pipeline auf NVIDIA Jetson Orin NX aufgebaut und mit TensorRT-INT8-Optimierung 30+ Bilder pro Sekunde bei unter 200 Millisekunden End-to-End-Latenz erreicht. Parallel entstand eine Docker-basierte Microservice-Architektur, die Updates im laufenden Betrieb ermöglicht.

Technische Umsetzung

Inferenz-Pipeline

Der Kern ist eine GStreamer/DeepStream-Pipeline. Sieben Stufen laufen auf dem Gerät; nur komprimierte Fahrzeug-Tracks gehen per MQTT an AWS IoT Core und die Cloud-Anwendung.

Auf dem Gerät · Jetson Orin NX

  1. CSI-2-Kamera

    Sony IMX662

  2. Entzerrung

    Objektivkorrektur

  3. Detektion

    TensorRT INT8

  4. Tracking

  5. Klassifikation

    11 BASt-Klassen

  6. Track-Kompression

    Ramer–Douglas–Peucker

  7. MQTT-Transmitter

    TLS

In der Cloud

  1. AWS IoT Core

    Gegenseitiges TLS

  2. Cloud-Anwendung

Das Tracking liegt zwischen Detektion und Klassifikation, die Klassifikation arbeitet also auf verfolgten Fahrzeugen statt auf Einzelbildern. Die Track-Kompression mit dem Ramer-Douglas-Peucker-Algorithmus reduziert jede Trajektorie vor der Übertragung auf ihre signifikanten Punkte.

Hardware-Plattform

Jede Hardwareentscheidung beantwortet eine Frage: Was braucht ein Gerät, das monatelang unbeaufsichtigt an einer Kreuzung steht?

NVIDIA Jetson Orin NX
GPU-beschleunigte Inferenz bei niedrigem Energieverbrauch, geeignet für batteriebetriebene Außeneinsätze.
CTI Hadron Carrier Board
Industrietaugliches Board für den Dauerbetrieb im Feld.
Sony IMX662 Sensor
Starke Low-Light-Performance für 24/7-Betrieb bei wechselnden Lichtverhältnissen.
Teltonika RUT241 LTE-Gateway
Ein separates Gateway erspart den LTE-Zertifizierungsaufwand und ermöglicht Out-of-Band-Fernwartung.

Sicherheitsarchitektur

Mehrstufige Sicherheit vom Bootvorgang bis zum Netzwerk:

Secure Boot
Eine Vertrauenskette, verankert in den nur einmal beschreibbaren Fuses des Jetson: Das Boot-ROM prüft den Bootloader, der Bootloader den Kernel. Nur signierte Software startet.
Verschlüsselung
TLS für alle Kommunikation, verschlüsselte OTA-Updates.
Cloud-Kommunikation
Gegenseitige TLS-Authentifizierung mit AWS IoT Core über vorinstallierte Gerätezertifikate.
Netzwerk
Nur Port 80 und 443 von außen erreichbar. Kein eingehendes SSH. Fernzugriff über Teltonika RMS.
Least Privilege
Die Admin-App läuft ohne Root-Rechte. Privilegierte Operationen sind in einem separaten Systemdienst mit minimaler API isoliert.

Deployment und Betrieb

Mobile Variante
Batteriebetrieb, 72 h Batterielaufzeit, Mastmontage
Permanente Variante
Festinstallation am Stromnetz vor Ort
Betrieb
30+ Tage unbeaufsichtigt, automatische Wiederherstellung in < 5 min, OTA-Updates in < 15 min
Flottenmanagement
Geräteinventar, Zustandsüberwachung, Ferndiagnose und Remote-Zugriff über einen separaten Management-Kanal

DSGVO-Konformität

Die gesamte KI-Verarbeitung findet auf dem Gerät statt. Rohvideo verlässt es nie; übertragen werden nur verschlüsselte, komprimierte Fahrzeug-Tracks. Privacy by Design macht DSGVO-Konformität zu einer Eigenschaft der Architektur statt zu einem nachträglichen Zusatz.

Ergebnisse

Kennzahl Vorher Nachher
Erkennungsgenauigkeit ~50% 95%
Fahrzeugklassifikation (11 BASt-Klassen) 56% >90%
Inferenzleistung – 30+ FPS, < 200 ms
Unbeaufsichtigter Betrieb 1–3 Tage 30+ Tage
Automatische Wiederherstellung manueller Fern-Neustart < 5 min
OTA-Update – < 15 min
Einheiten im Feld – 300+
Erkennungsgenauigkeit: Anteil der Fahrzeuge, die erkannt und der richtigen Zu- und Ausfahrt der Kreuzung zugeordnet wurden, gemessen über hunderte Stunden Video an komplexen Kreuzungen. BASt: Fahrzeugklassen der Bundesanstalt für Straßenwesen.

Das System ist heute in zwei Varianten im Produktionsbetrieb: als mobile Einheit für temporäre Verkehrszählungen und als Festinstallation für den Dauerbetrieb. Der Kunde liefert es an Endkunden in ganz Deutschland aus.

Gleicher Stack, andere Sensoren

Kamera, Radar, PTZ: Derselbe Stack aus Detektion, Tracking und Klassifikation, der in der Verkehrserfassung läuft, treibt auch diese Prototypen auf NVIDIA Jetson.

  • Qualitätskontrolle am Maschinenausgang

    Prototyp Industrielle Inspektion

    Prüft automatisch jedes Teil, das eine Maschine ausgibt, und markiert fehlerhafte Teile.

    Auf dem Gerät:

    1. Kamera am Maschinenausgang
    2. Detektion
    3. Fehlerklassifikation
    4. Gut/Schlecht-Ergebnis
  • Personen-Wiedererkennung über mehrere Räume

    Prototyp Gebäude und Innenräume

    Erkennt dieselbe Person in einem anderen Raum oder an einer anderen Kamera wieder und führt ihren Track fort.

    Auf dem Gerät:

    1. Gesichtsdetektion
    2. Embedding je Gesicht
    3. Wiedererkennung
    4. Track über Kameras

    Embeddings werden auf dem Gerät berechnet und abgeglichen; Gesichtsbilder werden weder gespeichert noch übertragen. Gedacht für kontrollierte Umgebungen mit Rechtsgrundlage.

  • Flugobjekte erfassen mit Radar und PTZ-Kamera

    Prototyp Luftraumüberwachung

    Erkennt Flugobjekte per Radar, richtet eine PTZ-Kamera auf jedes Objekt aus und klassifiziert es anhand von Nahaufnahmen.

    Auf dem Gerät:

    1. Radar-Detektion und Tracking
    2. PTZ-Kamera schwenkt und zoomt
    3. Fotoaufnahme
    4. Klassifikation

Sie haben ein Edge-AI-Projekt, das den Schritt in die Produktion braucht?

Starten Sie mit einem 30-minütigen Technikgespräch über Ihre Hardware, Ihre Aufgabe und Ihren Zeitplan.

30-Minuten-Technikgespräch anfragen

Kostenlos und unverbindlich. Antwort innerhalb von 24 Stunden.

Gaylord Aulke

Head of Technology

+49 (0) 711 46059540
[email protected]