Large Language Models

Große Sprachmodelle haben die KI-Branche verändert und sind Teil unseres Alltags geworden, wo sie von Einzelpersonen, Unternehmen und Regierungen genutzt werden. Doch genau die Eigenschaften, die LLMs auszeichnen, machen es auch so schwer, sie zu bewerten. Wie kann man bei einem LLM wissen, was es kann und was nicht? Wie können wir wissen, ob dieses Verhalten in verschiedenen Anwendungskontexten gleich bleibt? Welche Belege sollten wir als Beweis für die Leistungsfähigkeit oder Unzulänglichkeit eines LLM akzeptieren? Welche Vereinfachungen sollten wir vermeiden, wenn wir über intelligente Maschinen nachdenken und sprechen? Vor dem Hintergrund von Einzelberichten, Medienrummel, unbegründeten Befürchtungen und berechtigten Bedenken hinsichtlich der Leistungsfähigkeit von LLMs befasst sich das diesjährige Seminar eingehend mit dem Thema der LLM-Bewertung. Auf der Grundlage von Arbeiten zur Messtheorie und modernsten LLM-Bewertungspraktiken werden wir die grundlegenden LLM-Bewertungsparadigmen, die grundlegenden Herausforderungen bei der Erstellung robuster Aussagen über das Verhalten von LLMs und anderen intelligenten Agenten sowie mögliche Wege für die Zukunft untersuchen.