Unsere Augen stehen selten still. Wenn wir uns unterhalten, spazieren gehen, Auto fahren, lesen oder ein Gemälde anschauen – stets schweift der Blick von einem Punkt zum nächsten, verharrt nur Sekundenbruchteile an einer Stelle, um im nächsten Augenblick einen neuen Ausschnitt zu fokussieren. Sechs äußere Augenmuskeln sorgen dafür, dass sich unsere Augäpfel in verschiedene Richtungen bewegen können. Gesteuert werden diese Blickbewegungen vom zentralen Nervensystem – und können deshalb viel darüber verraten, wie das Gehirn arbeitet. Die Nachwuchsforschungsgruppe AEye hat dabei ganz praktische Anwendungen im Blick und verspricht sich viel von neuen Analyseinstrumenten.
Lernhilfen für Künstliche Intelligenz
Wer bei AEye forscht, muss bereit sein, über den eigenen Tellerrand zu blicken. Die neunköpfige Nachwuchsforschungsgruppe ist interdisziplinär aufgestellt: Die Forschenden kommen aus der Informatik, den Kognitionswissenschaften, der Linguistik und der Mathematik. Leiterin Prof. Lena Jäger hat nach einem Studium der Sinologie Experimentelle und Klinische Linguistik studiert, in Kognitionswissenschaften promoviert und parallel dazu noch ein Informatikstudium absolviert. „Kognitionswissenschaft und Informatik hängen sehr eng zusammen“, erklärt sie. „Viele Ideen beeinflussen sich gegenseitig. So inspirierte beispielsweise die von Neumann-Prozessorarchitektur kognitionswissenschaftliche Modelle, die die menschliche Informationsverarbeitung zu erklären versuchen. Andersherum wurde das erste künstliche neuronale Netz von einem kognitiven Psychologen entwickelt und ist an die Funktionsweise eines biologischen Neurons angelehnt.“ Die Gruppenleiterin ist überzeugt, dass sich beide Forschungsgebiete sehr gut ergänzen und das eine dabei hilft, das andere besser zu verstehen. Ihre Gruppe sucht vor allem nach Methoden, um linguistisches und kognitives Fachwissen in die Lernmechanismen von künstlichen neuronalen Netzen einzubauen.
Das Zusammenspiel der unterschiedlichen Disziplinen muss dafür gut funktionieren. Forschende aus der Informatik oder der Mathematik denken und arbeiten sich in die Aufgaben der Linguistinnen ein – und umgekehrt. Das Promotionsprojekt der Linguistin Chiara Tschirner hat etwa das Ziel, mithilfe von Blickbewegungsmessungen – sogenannten Eyetracking-Daten – ein diagnostisches Screening von Sprachentwicklungsstörungen wie der Lese-Rechtschreibschwäche (LRS) zu entwickeln.
LRS schon im Vorschulalter diagnostizieren
Bisher wird eine LRS, von der etwa jedes zehnte Kind betroffen ist, mit umfangreichen Tests diagnostiziert. Um die Fragen beantworten zu können, müssen die Kinder bereits über ein gewisses Sprachverständnis verfügen und zum Beispiel wissen, was ein Reim ist. „Eine frühe Diagnose oder Einschätzung des Risikos, eine LRS zu entwickeln, ist aber sehr wichtig, weil die Therapieerfolge dann deutlich größer sind“, erklärt Lena Jäger. Wird das Risiko einer LRS schon vor der Einschulung erkannt, erspart das den Kindern zudem jede Menge Frust. Lehrkräfte und Eltern können sich von vornherein darauf einstellen und die Kinder entsprechend fördern. Das AEye-Team arbeitet daher an Grundlagen für einen Test, der das Risiko für LRS bereits bei Vorschulkindern voraussagen soll und dafür Blickbewegungen und Künstliche Intelligenz nutzt.
Das Forschungsprojekt zeigt, wie gut Informatikerinnen und Informatiker auf der einen und Linguistinnen auf der anderen Seite miteinander verzahnt sind. „Das Versuchsdesign haben die Sprachwissenschaftlerinnen im ständigen Austausch mit den Informatikerinnen und Informatikern entwickelt“, erklärt Paul Prasse, stellvertretender Gruppenleiter. „Danach nutzen wir die Daten für unsere mathematischen Modelle, deren Output wiederum von den Linguistinnen analysiert und interpretiert wird.“
Chiara Tschirner und ihre Kollegin Maja Stegenwallner- Schütz stecken mitten in den Vorbereitungen für die Tests, die sie in Kindergärten und Schulen mit Kindern ab einem Alter von fünf Jahren durchführen wollen. Insgesamt werden sie 500 Kinder testen. Die Kinder sehen auf dem Monitor verschiedene Objekte und sollen beispielsweise auf die „Tasche“ gucken, während ihre Blickbewegungen aufgezeichnet werden. „Es gibt einen Zusammenhang zwischen der Sensitivität für Reime und der LRS“, erklärt Lena Jäger den Hintergrund des Tests. Kindern mit einer LRS fällt es schwerer, Reime oder gleiche Wortanfänge zu erkennen. Kinder ohne LRS lassen sich durch ähnlich klingende Wörter leichter ablenken. Wenn neben der „Tasche“ etwa eine „Flasche“ abgebildet ist, wechseln Kinder ohne LRS zwischen beiden Worten hin und her, während die Blicke der Kinder mit einer LRS eher bei der „Tasche“ verweilen.
Neben den Tests mit dem Eyetracker plant Chiara Tschirner auch klassische diagnostische Tests, um das Bewusstsein für sprachliche Laute oder die kognitive Entwicklung der Kinder beurteilen zu können. Parallel dazu wird der Mathematiker David Reich die erhobenen Daten nutzen, um mit ihnen ein Modell zu trainieren. Mithilfe von Machine Learning soll dieses Modell einmal in der Lage sein, die Blickbewegungen der Kinder selbstständig zu analysieren und das Risiko für eine LRS möglichst genau vorherzusagen.
Blickbewegungen verraten noch viel mehr
Das Zusammenspiel zwischen Blickbewegungsmessungen und Künstlicher Intelligenz steht auch in weiteren Projekten der Forschungsgruppe im Fokus. Shuwen Deng leitet aus Blickbewegungen ab, ob bei einem Kind eine sogenannte Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (ADHS) vorliegt. Aus der Analyse der Blickbewegungen lässt sich zudem erkennen, ob eine Person beim Autofahren aufmerksam ist und rasch auf Gefahrensituationen reagieren kann oder dafür schon zu müde ist. Assistenzsysteme in Fahrzeugen messen schon heute anhand von Lidschlussgeschwindigkeiten, der Fahrzeit und Sensoren am Lenkrad, ob die Fahrerin oder der Fahrer eine Pause machen sollte, weil sich Müdigkeit breit macht. Eyetracking-Daten könnten das noch genauer vorhersagen, sind die Forschenden überzeugt.
Im Labor der Forschungsgruppe steht deshalb ein Fahrsimulator, mit dem künftig zahlreiche Probandinnen und Probanden getestet werden sollen. Die Szenarien werden dafür eher langweilig sein: etwa Fahrten auf der Landstraße, mit wenig Verkehr und im Dämmerlicht. „Wir hoffen, dass unsere Testpersonen schnell müde werden und wir das dann auch messen können“, erklärt Paul Prasse. In anderen Szenarien werden die Fahrenden durch Kindergeräusche oder einen Beifahrer abgelenkt. Ob sich das etwa auf die Reaktionszeit auswirkt, sollen ebenfalls die Blickbewegungen verraten.
David Reich entwickelt und implementiert anhand dieser Daten Machine-Learning-Modelle. Dabei sind Fingerspitzengefühl und jede Menge Geduld gefragt: „In wahrscheinlich 95 Prozent der Fälle macht das Modell erst einmal nicht das, was wir uns erhoffen“, erzählt Paul Prasse. Um zum Ziel zu kommen, muss eine komplett neuartige Modellarchitektur entwickelt werden. Lange sitzen die Forschenden am Computer und tüfteln an ihren Modellen, suchen nach Problemen und den richtigen Lösungen. Gerade dort, wo Sprache oder Verhalten auf Blickbewegungen treffen, ist dafür nicht nur informatisches Know-how, sondern auch Wissen über kognitive Vorgänge wichtig. Wenn manchmal auch nach Stunden etwas nicht vorangehen will und das Modell hakt, hilft das Gespräch mit den Kolleginnen und Kollegen weiter, um vielleicht aus einer anderen Perspektive Lösungen zu finden. „Manchmal reicht es schon, wenn ich als Mathematiker einer Linguistin oder einem Linguisten erkläre, was ich mache“, sagt David Reich. „Oft zeigt sich dann ganz schnell, was man vergessen oder missachtet hat.“
Black Box maschinelles Lernen
Wenn Modelle mithilfe von maschinellen Lernverfahren trainiert werden, sollen sie in die Lage versetzt werden zu erkennen, ob jemand müde ist, eine Lese-Rechtschreibschwäche hat oder auf welchem Sprachniveau er eine Fremdsprache beherrscht. Dabei werden die Vorhersagefehler zurückgerechnet und die Modellparameter in kleinen Schritten verbessert. Wenn noch nicht alles passt, sind wieder die Informatikerinnen und Informatiker gefordert: „Dann müssen die Modellarchitekturen erneut angepasst werden“, erläutert Paul Prasse. „Wir bauen tiefere Netze, überlegen uns Transformationen, die sinnvoll für unsere Fragestellung sind oder optimieren die Art der Dateneingabe.“ Es gibt zahlreiche Stellschrauben, die es zu beachten gilt, damit das Modell so arbeitet, wie es die Forschenden beabsichtigen. Daniel Krakowczyk erforscht die Interpretierbarkeit der Neuronalen Netzwerke. Ihn interessiert etwa, wie genau die Modelle zu ihren Ergebnissen kommen. Denn die Entscheidungsprozesse eines Neuronalen Netzes sind nicht ohne weiteres erklärund interpretierbar. Ein Blick in diese „Black Box“ könnte mehr darüber verraten, wie eine Künstliche Intelligenz zur Lösung eines Problems gelangt, und aus welchen Eigenschaften in den Daten sie eine bestimmte Schlussfolgerung oder Vorhersage ableitet. Letzteres ist eine Voraussetzung dafür, Transparenz in der KI zu erreichen.
Die Forschungsgruppe
AEye (Artificial Intelligence for Eye Tracking Data: Deep Learning Methods for the Automated Analysis of Cognitive Processes) ist eine Nachwuchsforschungsgruppe an der Universität Potsdam. Die Forschenden entwickeln maschinelle Lernverfahren zur Analyse von Eyetracking-Daten, um Rückschlüsse oder Vorhersagen über die kognitiven Prozesse und psychischen Zustände eines Individuums zu machen.
Förderung: Bundesministerium für Bildung und Forschung (BMBF) Laufzeit: 2020–2024
www.uni-potsdam.de/de/cs-ml/aeye
Die Forschenden
Prof. Dr. Lena Jäger studierte Sinologie an der Universität Freiburg, der Tongji-University Shanghai und der Université Paris 7 Denis-Diderot und im Anschluss Experimental and Clinical Linguistics an der Universität Potsdam, wo sie 2015 in Kognitionswissenschaft promovierte und gleichzeitig ein Informatikstudium absolvierte. Seit 2018 forscht sie im Bereich Maschinelles Lernen an der Universität Potsdam und leitet seit 2020 die von ihr eingeworbene Nachwuchsgruppe AEye. Seit 2020 ist sie zudem Professorin am Institut für Computerlinguistik der Universität Zürich.
E-Mail: lena.jaegeruuni-potsdampde
Shuwen Deng studierte Informations- und Kommunikationstechnik an der Polytechnischen Universität Peking und der Friedrich-Alexander- Universität Erlangen-Nürnberg. Sie promoviert in der Nachwuchsgruppe AEye.
E-Mail: shuwen.denguuni-potsdampde
Dr. Maja Stegenwallner-Schütz studierte Patholinguistik und Experimental and Clinical Linguistics an der Universität Potsdam, wo sie 2019 zur Sprachentwicklung bei Kindern promovierte. Sie ist Postdoc in der AEye-Gruppe sowie am Department Inklusionspädagogik der Uni Potsdam tätig.
E-Mail: stegenwauuni-potsdampde
David R. Reich studierte Mathematik an der Freien Universität und der Technischen Universität Berlin. Er promoviert in der Nachwuchsgruppe AEye.
E-Mail: david.reichuuni-potsdampde
Daniel Krakowczyk studierte Informatik an der Freien Universität Berlin und der Universität Potsdam. Er promoviert in der Nachwuchsgruppe AEye.
E-Mail: daniel.krakowczykuuni-potsdampde
Chiara Tschirner studierte Linguistik an der Universität Leipzig und im Anschluss Experimental and Clinical Linguistics an der Universität Potsdam. Sie promoviert in der Nachwuchsgruppe AEye.
E-Mail: chiara.tschirneruuni-potsdampde
Dr. Paul Prasse studierte Informatik an der Universität Potsdam, promovierte dort 2016 und ist stellvertretender Gruppenleiter von AEye.
E-Mail: prasseuuni-potsdampde
Dieser Text erschien im Universitätsmagazin Portal Wissen - Eins 2022 „Zusammen“.