Multimodal Artificial Intelligence

Der Kurs bietet eine Einführung in die multimodale künstliche Intelligenz, ein Forschungsgebiet an der Schnittstelle von Computer Vision, Verarbeitung natürlicher Sprache und Deep Learning. Wir werden Ansätze zur Modellierung mehrerer Eingabe- und Ausgabemodalitäten behandeln (mit Schwerpunkt auf Text, Bildern und Videos): von den frühen bis hin zur hochmodernen KI-Technologie. Zu den Themen können gehören: Multimodale Architekturen: z.B. gemeinsame Einbettungsmodelle, multimodale Transformatoren, neuronale modulare Ansätze Anwendungen wie Bild- und Videobeschreibung, Beantwortung von Fragen über Bilder oder Videos, Text-zu-Bild-Synthese, Visuelle- und Sprachliche Navigation, multimodaler Dialog Multimodale generative Modelle Grundlegende multimodale Large Language Models (LLMs) Offene Themen wie Bias, Kompositionalität, Erklärbarkeit und Skalierungsgesetze Neue Themen in der multimodalen KI