Intelligente Robotermanipulation: Part II

Dieses Seminar für Fortgeschrittene stellt grundlegende Algorithmen für Robotic Embodied AI Systems (REAIS) vor, die Objekte in unstrukturierten Umgebungen wie Wohnungen, Restaurants, Supermärkten usw. autonom wahrnehmen, navigieren und manipulieren können. Es befasst sich mit der komplexen und aktuellen Herausforderung, intelligente Roboteragenten zu verstehen und zu entwickeln, die interagieren und ihre Welt verändern können. Das Seminar wird grundlegende Probleme der verkörperten KI und Robotik erörtern und dabei die multimodale Wahrnehmung mit dem Handeln verbinden. Das Seminar wird eine Einführungsvorlesung und eine Lesegruppe kombinieren, um fortgeschrittene algorithmische Ansätze in der Robotik und der verkörperten KI zu diskutieren und zu erlernen. In diesem Semester lautet das Thema des Seminars "Interaktive Roboter Wahrnehmen und Lernen". Eine vorläufige Liste der Referate umfasst: Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via Implicit Representations https://arxiv.org/abs/2104.01542 Learning Agent-Aware Affordances for Closed-Loop Interaction with Articulated Objects https://arxiv.org/abs/2209.05802 Semantic Abstraction: Open-World 3D Scene Understanding from 2D Vision-Language Models https://arxiv.org/abs/2207.11514 The (Un)Surprising Effectiveness of Pre-Trained Vision Models for Control https://arxiv.org/abs/2203.03580 R3M: A Universal Visual Representation for Robot Manipulation https://arxiv.org/abs/2203.12601 Real-World Robot Learning with Masked Visual Pre-training https://arxiv.org/abs/2210.03109 Offline Visual Representation Learning for Embodied Navigation https://arxiv.org/abs/2204.13226 The Surprising Effectiveness of Representation Learning for Visual Imitation https://arxiv.org/abs/2112.01511 VideoDex: Learning Dexterity from Internet Videos https://arxiv.org/abs/2212.04498 Do As I Can, Not As I Say: Grounding Language in Robotic Affordances https://arxiv.org/abs/2204.01691 CLIPort: What and Where Pathways for Robotic Manipulation https://arxiv.org/abs/2109.12098 VIMA: General Robot Manipulation with Multimodal Prompts https://arxiv.org/abs/2210.03094 GATO: A Generalist Agent https://arxiv.org/abs/2205.06175 PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training https://arxiv.org/abs/2209.11133 Learning Universal Policies via Text-Guided Video Generation https://arxiv.org/abs/2302.00111