Große Sprachmodelle (engl.: Large Language Modelle (LLM)) werden zunehmend genutzt, um Einstellungen, Konsumverhalten oder politische Präferenzen zu analysieren und künftige Entwicklungen abzuschätzen. Bisherige Analysen solcher Präferenzprognosen haben sich bislang jedoch auf die ausgegebene Antwort der LLMs fokussiert, nicht auf den Weg zur Antwort. Dieses Problems hat sich ein Forschungsteam der Ludwig-Maximilians-Universität München und der Universität Bayreuth angenommen.
„Der bisherige Forschungsansatz der reinen Analyse der KI-Antwort ist, als würde man nur das Ergebnis eines Taschenrechners betrachten, ohne zu verstehen, wie er gerechnet hat. Wir haben in unserer Studie der KI praktisch beim Denken über die Schulter geschaut“, sagt Simeon Allmendinger, Doktorand an der Professur für Wirtschaftsinformatik und humanzentrische Künstliche Intelligenz der Universität Bayreuth. In der Studie haben die Forschenden über 24 Millionen Kombinationen diverser Faktoren wie konkretes Sprachmodell, Personenmerkmale, Parteienkonstellation und Prompt (sogenannte Konfigurationen) mit insgesamt sieben Sprachmodellen für sechs nationale Wahlen betrachtet. Innerhalb der unterschiedlichen Konfigurationen haben die Forschenden untersucht, welche internen Bereiche der LLM aktiviert werden, welche politischen Parteien im Modell mit bestimmten Eigenschaften verknüpft werden und wie das jeweilige Modell Informationen wie Alter und Bildung verarbeitet.
„Wir haben festgestellt, dass im ‚Innenleben‘ der Sprachmodelle oft zusätzliche Informationen enthalten sind, die in der endgültigen Antwort nicht vollständig sichtbar sind. Macht man diese Informationen mit unserer neuen Methode sichtbar, können sie zusätzliche Hinweise liefern und die Prognose verbessern“, sagt Prof. Dr. Niklas Kühl, Inhaber der Professur für Wirtschaftsinformatik und humanzentrische Künstliche Intelligenz der Universität Bayreuth.
Soll ein Sprachmodell beispielsweise vorhersagen, welche Partei eine Person wählen würde, und lautet die Antwort „Partei X“, können im Inneren des Modells Hinweise darauf enthalten sein, dass die Person eine ähnlich starke Verbindung zu Partei Y hat. „Unsere Ergebnisse machen ersichtlich, dass die Modelle mehr über die Zusammenhänge erlernen, als sie im finalen Output preisgeben“, so Kühl.
„Wichtig ist uns, dass die Methode ein ergänzendes Werkzeug ist und keinen Ersatz für klassische Umfragen darstellt. Gerade für unterrepräsentierte Gruppen bleiben echte Befragungen statt KI-Befragungen unverzichtbar“, betont Allmendinger.
Die Studie ist in Zusammenarbeit mit dem Munich Center for Machine Learning (MCML), dem Fraunhofer-Institut für Angewandte Informationstechnik FIT und der University of Maryland entstanden.
