Sensorfusion – Architekturen und Algorithmen

Ingenieurwissenschaften und Informatik

Version 11.0 vom 28.02.2023

11B1805

Sensor Fusion – Architectures and Algorithms

• Informatik - Technische Informatik (B.Sc.)
• Informatik - Medieninformatik (B.Sc.)
• Mechatronik (B.Sc.)
• Elektrotechnik (B.Sc.)

2

?hnlich wie unsere Sinne nehmen Sensoren eines Roboters oder eines Fahrzeuges die Umwelt wahr. Mit einem durchdachten Sensorset, das mittels intelligenter echtzeitf?higer Algorithmen die Umwelt einer Maschine wahrnimmt, k?nnen Anwendungen wie z. B. Smart-Homes, automatisiertes Fahren und Mensch-Roboter-Kollaborationen realisiert werden.

Die grundlegenden Architekturen und Algorithmen der Sensorfusion kennen, bewerten und umsetzen zu k?nnen, ist Ziel dieser Veranstaltung. Bei der Entwicklung der Architektur müssen unter anderem die Dimensionen der funktionalen Sicherheit (Safety), der Cyber-Sicherheit (Security), Sensorkosten, Softwarekosten und Echtzeitanforderungen berücksichtigt werden. Mit der Architektur als Grundlage k?nnen gezielt Algorithmen ausgew?hlt und implementiert werden, die alle Sensorinformationen beispielsweise in einer Karte der Umgebung zusammenführen und auf der alle Objekte zuverl?ssig lokalisiert und erkannt werden k?nnen.

Im vorlesungsbegleitenden Praktikum erfolgt die praktische Anwendung, in der z. B. mittels eines Beschleunigungssensors und eines GPS-Empf?ngers in einem Smartphon Indoor Navigation realisiert oder durch eine Kamera und LiDAR Objekte Fahrzeuge lokalisiert werden.

• Architekturdesign für Soft- und Hardwaresysteme
• Sensorsynchronisierung, eventbasierte Datenverarbeitung
• virtuelle Sensoren oder wie aus mehreren Sensoren ein ?Super“-Sensor wird
• funktionale Sicherheit (Safety) und Cyber-Sicherheit (Security) vs. Software- und Hardwarekosten
• klassische Verfahren zur Sensorfusion, physikalische Zusammenh?nge in definierten Algorithmen
• KI-basierte Verfahren zur Sensorfusion, datensatzbasiertes Lernen von Zusammenh?ngen

Wissensverbreiterung
Die Studierenden besitzen ein Grundwissen über die Soft- und Hardwareanforderungen der Sensorfusion und k?nnen Architekturen systematisch für unterschiedliche Anwendungsf?lle bewerten. Neben den theoretischen Kompetenzen k?nnen die Studierenden Software entwickeln, die mindestens zwei Sensoren zu einem virtuellen Sensor fusionieren.
Wissensvertiefung
Die Studierenden beherrschen die grunds?tzlichen Schritte von der Entwicklung der Architektur über die Bewertung bis zur Implementierung der Sensorfusion.
K?nnen - instrumentale Kompetenz
Die Studierenden sind in der Lage, mittels geeigneter Programmiersprachen wie Python und C++, Sensoren z. B. für die zuverl?ssige Objekterkennung oder Positionsbestimmung zu konzipieren und zu implementieren.
K?nnen - kommunikative Kompetenz
Die Studierenden k?nnen anwendungsbezogen Vor- und Nachteile der Sensorfusion argumentativ in verschiedenen Dimensionen (Safety, Security, Kosten, …) vertreten.
K?nnen - systemische Kompetenz
Die Studierenden besitzen einen elementaren ?berblick über die Sensordatenverarbeitung und k?nnen Anwendungsbeispiele wie die Formula Student Driverless umsetzen.

Die Veranstaltung gliedert sich in einen Vorlesungs- und einen Praktikumsteil. Die Studierenden fusionieren unter Anleitung mehrere Sensoren zu einem virtuellen Sensor und analysieren dessen Schwachstellen. Ab dem zweiten Drittel des Semesters entwickeln die Studierenden einen eigenen virtuellen Sensor, der mindestens die Daten von zwei Sensoren fusioniert, und evaluieren die Qualit?t des entwickelten virtuellen Sensors für das gew?hlte Anwendungsgebiet.

Objektorientierte Programmierung (OOP), Lineare Algebra, starkes Interesse an Algorithmen

Sch?ning, Julius

• Sch?ning, Julius
• Stiene, Stefan

5

Fourati, Hassen, ed. Multisensor data fusion: from algorithms and architectural design to applications. CRC press, 2017.

Hahn, Hernsoo. Multisensor fusion and integration for intelligent systems. Eds. Sukhan Lee, and Hanseok Ko. Springer, 2009.

Blum, Rick S., and Zheng Liu, eds. Multi-sensor image fusion and its applications. CRC press, 2018.

Thomas, Ciza, ed. Sensor fusion and its applications. BoD–Books on Demand, 2010.

Más, Francisco Rovira, Qin Zhang, and Alan C. Hansen. Mechatronics and intelligent systems for off-road vehicles. Springer Science & Business Media, 2010.

• Mündliche Prüfung
• Projektbericht, schriftlich

Experimentelle Arbeit

1 Semester

Unregelm??ig

Deutsch und Englisch