Es gibt sie in Schwarz-Weiß oder in Farbe, umfangreich oder schmal und längst nicht mehr nur für Kinder – Comics sind als ernstzunehmende Gattung im literarischen Betrieb angekommen. Mit „Maus. Die Geschichte eines Überlebenden“ von Art Spiegelman erhielt 1992 ein Comic sogar eine der renommiertesten Literaturauszeichnungen: den Pulitzer-Preis. Auch Klassiker der Weltliteratur werden mittlerweile im Comicformat aufbereitet. Verlage haben den (umstrittenen) Marketing-Begriff der „Graphic Novel“ geprägt, um eine Teilmenge der Comics auszuzeichnen, die mit anspruchsvollem Inhalt aufwarten und sich meist an erwachsene Leser richten. Forscher der Uni Potsdam untersuchen nun mit Mitteln der kognitiven Psychologie, wie diese Art von Literatur geistig verarbeitet wird.
„Sequenzielle Kunst und anderes Comicartiges begegnen uns eigentlich überall im Alltag: Ob es Lehrbuchzeichnungen, Cartoons in Zeitungen oder auch Aufbauanleitungen von Möbeln sind.“ Jochen Laubrock, Wissenschaftler am Department Psychologie der Universität Potsdam, betrachtet den Comic aus einer besonderen Perspektive. Der Psychologe leitet gemeinsam mit seinem Kollegen – dem Anglisten Alexander Dunst von der Universität Paderborn – die vom BMBF mit knapp zwei Millionen Euro geförderte Nachwuchsgruppe „Hybride Narrativität: Digitale und kognitive Methoden zur Erforschung grafischer Literatur“. Im Team mit Dr. Sven Hohenstein und Dr. Eike Richter (Potsdam) sowie Dr. Rita Hartel und Oliver Moisich (Paderborn) wollen die Wissenschaftler darin erforschen, wie grafische Literatur aufgebaut ist und wie sie von ihren Lesern verarbeitet wird.
„Ein Bild sagt mehr als tausend Worte“ – diese Metapher hat für die Forscher dabei eine ganz praktische Bedeutung. Denn grafische Literatur vermittelt Informationen sowohl über Text als auch über Bildsprache. Wie ist die Aufmerksamkeit zwischen Text und Bild verteilt? Und wie wird sie gelenkt? Wird die Information aus einem Bild schneller verarbeitet als aus einem Text? Antworten auf diese und ähnliche Fragen wollen die Potsdamer und Paderborner Human- und Geisteswissenschaftler mit einem neuartigen Forschungsansatz finden.
Text und Bild sind gleichberechtigt
In ihrem Projekt wollen sie zum einen digitale Methoden erarbeiten, die es erlauben, Comics zukünftig einfacher zu analysieren und zu erforschen. Zum anderen wollen sie selbst experimentell untersuchen, wie Comics vom Leser aufgenommen werden. „Die Koordination der Augen beim Lesen eines Satzes liefert Informationen darüber, wie der Satz verarbeitet wird“, erklärt Jochen Laubrock. Und auch beim Betrachten eines Gemäldes oder einer Fotografie verraten die Blickbewegungen viel darüber, wie der Inhalt aufgenommen wird. Die Kernaussage eines Bildes begreifen wir zwar oft schon in einem Augenblick, für die Inspektion von Details müssen aber Objekte vom Blick fixiert werden, weil der Bereich scharfen Sehens sehr begrenzt ist. „Grafische Literatur ist eine schöne Verbindung dieser beiden Forschungslinien“, erklärt Laubrock. Denn hier stehen Text und Bild gleichberechtigt nebeneinander.
Mit diesem Ansatz betreten die Forscher Neuland. Comicforschung gebe es zwar bereits seit einigen Jahrzehnten. Doch diese befasse sich eher mit den unterschiedlichen Genres und Ausdruckformen dieser Literaturgattung, verdeutlicht Jochen Laubrock. „Mit digitalen Methoden zu arbeiten und kognitive Aspekte zu berücksichtigen – das ist bisher vernachlässigt worden.“ Zunehmend gebe es auch in den Geisteswissenschaften große Datenmengen, die ausgewertet und analysiert werden müssten, sagt der Wissenschaftler. Und das geschieht in der neuen Disziplin der „Digital Humanities“ häufig in Kooperationsprojekten zwischen Geisteswissenschaftlern und Informatikern. „Wir befinden uns als kognitive Psychologen genau an der Schnittstelle zwischen beiden Disziplinen“, betont der Forscher.
Comiclesen im Dienste der Wissenschaft
Für die geplanten Untersuchungen tragen die Wissenschaftler um Jochen Laubrock zunächst Beispiele grafischer Literatur zusammen, um eine möglichst umfangreiche, repräsentative Sammlung zu erstellen. „Momentan besteht dieser Textkorpus aus 250 Werken“, so Laubrock. „Es werden aber noch mehr.“ Dazu zählen bedeutende Werke wie etwa „Maus“, „Persepolis“ oder „Ghost World“ ebenso wie weniger bekannte grafische Literatur. Zur Sammlung gehören auch Vergleichswerke, die nicht den Graphic Novels zugeordnet werden.
Was nun folgt, ist aufwendige Puzzlearbeit am Computer. Denn ein Projektziel ist ein annotiertes, maschinenlesbares Textkorpus: eine umfangreiche Datenbank, in der verschiedenste Merkmale des jeweiligen Werks aufgelistet sind. „Teile der Graphic Novels werden dazu digitalisiert und annotiert“, erklärt Jochen Laubrock. Text und Bilder werden also gescannt und mit beschreibenden Anmerkungen versehen. Dies geschieht derzeit in einem halbautomatischen Verfahren. Dazu programmierten die Forscher einen Editor, der die Annotation unterstützt durch selbstständiges Erkennen von Einzelbildern und zusammengehöriger Flächen. Somit lassen sich beispielsweise Text und Charaktere leicht markieren und beschreiben.
Jochen Laubrock zeigt auf dem Monitor seines Computers eine Beispielseite: Rote Linien und Flächen breiten sich über die schwarz-weißen Comiczeichnungen aus. Hier hat das Programm seine Arbeit getan und bestimmte Merkmale erkannt, die für weitere Analysen wichtig sind. Da es aber nicht alle Merkmale mit Sicherheit erkennt, müssen die gewonnenen Ergebnisse noch einmal kontrolliert und ergänzt werden – per Hand. Parallel arbeiten die Wissenschaftler um Jochen Laubrock an der Verbesserung des Algorithmus, um die benötigten Daten komplett maschinell erheben zu können. Spätere Versionen sollen auch Sequenzen, Textpositionen, die einzelnen Charaktere und andere wichtige Merkmale eines Comics automatisiert erkennen können.
Nicht nur strukturelle Merkmale der Bildanteile werden so erfasst. Auch der gesamte Text wird digital extrahiert und analysiert. „Damit können wir nachvollziehen, an welcher Stelle Text steht und von welchen Charakteren er gesagt wird“, erklärt der Wissenschaftler. „Da die Comicschrift meist sehr klein und eng ist und nicht den typischen Schriftformaten entspricht, ist das oft nicht so leicht.“ Die Häufigkeit einzelner Wörter oder Satzstrukturen wird ebenfalls analysiert und in die Datenbank eingespeist. Das Korpus soll durch erweiterte Beschreibung des Bildanteils mit Deskriptoren aus dem Bereich des maschinellen Sehens wie Farbhistogrammen oder Orientierungsmerkmalen angereichert werden. Auf der Grundlage dieser Annotation werden schließlich die experimentellen Arbeiten durchgeführt.
Um schließlich herauszufinden, welche Bereiche eines Comics beim Leser besondere Aufmerksamkeit auf sich ziehen, beobachten die Wissenschaftler in sogenannten Eyetracking-Experimenten die Blickbewegungen von Comiclesern. Eine hochauflösende Kamera erfasst dazu im Eyelab der Uni Potsdam die minimalen Bewegungen, die das Auge beim Lesen des Textes und beim Betrachten der Bilder auf dem Monitor macht. Hunderte Probanden werden dafür in den kommenden Monaten und Jahren Comics im Dienste der Wissenschaft lesen. „Wir freuen uns über jeden, der mitmacht“, so Laubrock. Mit den Augenbewegungen lässt sich eine Vielzahl von Fragestellungen beantworten: an welchen Stellen Schwierigkeiten bei der Verarbeitung auftreten – etwa weil dort das Auge besonders lange verweilt oder mehrfach zurückspringt. Oder welche Bildstrukturen besonders viel Information vermitteln.
Comicexperten erkennen mehr
Erste Ergebnisse bringen bereits Erstaunliches zutage: Es ist hauptsächlich der Text, der die Aufmerksamkeit der Comicleser erregt. „Die Schrift steht im Vordergrund“, verrät Jochen Laubrock. Die Comicleser verwenden viel mehr Zeit darauf, den Text zu fokussieren als die Bilder. Mit weiteren Experimenten soll nun untersucht werden, ob und wie viel Information die Probanden vom Bildhintergrund verarbeiten können, obwohl dieser nicht aktiv fokussiert wird.
Die umfangreichen Metadaten über Bildinhalte, Struktur, Format und Textmerkmale der Comics, die die Forscher so im Lauf der kommenden Jahre erheben werden, sollen künftig in Datenbanken gesammelt und der Allgemeinheit verfügbar gemacht werden. Für die Comicforschung ist eine solche Datensammlung, die vielfältige Analysen erlaubt, von hohem Wert. Und auch für Kunstwissenschaftler könnten die Sammlung und vor allem die im Projekt entwickelten Beschreibungs- und Analysemethoden interessant sein, vermutet Jochen Laubrock. Beispielsweise könnten sie die Suche in Bilddatenbanken mittels visueller Merkmale ermöglichen oder die Verschlagwortung erleichtern.
Die Ergebnisse der Forscher können zudem Hinweise dafür liefern, wie ein Comic aufgebaut sein sollte, damit sein Inhalt optimal verarbeitet werden kann. Dies ist vor allem für solche Comics sinnvoll, die für Bildungszwecke entwickelt werden. Dabei geht es nicht nur um Illustrationen in Lehrbüchern, die im Idealfall die dazugehörigen Texte leichter verständlich machen, sondern auch um pädagogische Comics, die komplexe Themen mit dem Zusammenspiel von Text und Bild aufbereiten und auf diesem Weg Wissen vermitteln. „Tests mit Schulkindern haben gezeigt, dass Bilder, die sich konkret auf die Aufgabenstellung beziehen und mögliche Lösungswege aufzeigen, das Verständnis erhöhen“, erklärt Jochen Laubrock. Wenn Bilder andererseits den Text nur begleiten, um etwa die Motivation zu steigern, wird das Verständnis dagegen nicht gefördert.
Im Vorfeld der Experimente erfragen die Wissenschaftler, ob ihre Probanden bereits über Comicerfahrung verfügen. Denn das hat offenbar einen Einfluss auf die Ergebnisse: „In Eyetracking-Untersuchungen zeigte sich: Comicexperten und Comicnovizen unterscheiden sich kaum in der Zeit, die sie mit dem Text verbringen. Aber die Comicexperten verweilen länger auf den Bildern.“ Das sei ungewöhnlich, betont Jochen Laubrock. In Experimenten, die etwa die Lesekompetenz untersuchten, sei das Umgekehrte der Fall: Diejenigen, die besser lesen könnten, verwendeten weniger Zeit für den Text. Als die Forscher anschließend das Wissen der Comicleser testeten, zeigte sich, dass die Comic-Experten ihre Zeit sinnvoll investiert hatten: Sie konnten die gestellten Verständnisfragen besser beantworten als die Comicnovizen. „Ein Comic liefert viele Informationen auf mehreren Kanälen – wie ich mir diese erschließe, kann ich offenbar trainieren“, erklärt der Forscher. Expertise drückt sich hier vor allem in der effizienten Nutzung des visuellen Kanals aus.
Grafische Literatur übt auch auf den Psychologen Jochen Laubrock einen gewissen Reiz aus. „Inzwischen lese ich in meiner Freizeit ab und zu eine Graphic Novel. Das künstlerische und handwerkliche Können der Comiczeichner ist beeindruckend, und ich kann nachvollziehen, dass das Genre oft als ‚Neunte Kunst‘ bezeichnet wird.“ Überraschend ist dabei für den Wissenschaftler, wie groß die Unterschiede zwischen den einzelnen Zeichnern sind und wie experimentell diese teilweise arbeiten: Chris Ware hat etwa Comics geschaffen, die man sowohl horizontal als auch vertikal lesen kann. „Faszinierend finde ich auch Sachcomics, mit denen man sich schnell einen guten Überblick über ein Thema verschaffen kann, ohne dabei besonders tief einzusteigen zu müssen“, so Laubrock. Ein herausragendes Beispiel ist hier der Meta-Comic „Understanding Comics“ von Scott McCloud; jüngst ist mit „Unflattening“ von Nick Sousanis (Columbia; verlegt bei Harvard University Press) sogar eine Dissertation in Comicform erschienen. Doch zum Comicenthusiasten wird ihn auch die intensive wissenschaftliche Auseinandersetzung mit diesem Medium nicht machen: „Wenn ich ehrlich bin, bevorzuge ich die Romanform.“
Wer daran interessiert ist, an der Studie als Proband teilzunehmen, meldet sich im EyeLab der Universität Potsdam: Telefonisch unter 0331-977 21 15 oder auf der Internetseite eyelab.uni-potsdam.de.
Das Projekt
Teilprojekt „Eyetracking und Datenanalyse“ in der Nachwuchsgruppe „Hybride Narrativität: Digitale und kognitive Methoden zur Erforschung grafischer Literatur“
Beteiligt: Universität Potsdam (Dr. Jochen Laubrock, Dr. Sven Hohenstein, Dr. Eike Richter), Universität Paderborn (Dr. Alexander Dunst, Dr. Rita Hartel, Oliver Moisich)
Laufzeit: April 2015–April 2019
Förderung: Bundesministerium für Bildung und Forschung
Webseiten:
https://blogs.uni-paderborn.de/graphic-literature/
http://www.uni-potsdam.de/eyelab/home.html (Seiten werden derzeit überarbeitet)
Der Wissenschaftler
Dr. Jochen Laubrockstudierte Psychologie in Münster und promovierte in Potsdam. Seit 1999 arbeitet er an der Universität Potsdam und habilitiert derzeit zum Thema Blick- und Aufmerksamkeitssteuerung beim Lesen klassischer und graphisch-sequenzieller Literatur.
Kontakt
Universität Potsdam
Department Psychologie
Karl-Liebknecht-Str. 24–25, 14476 Potsdam
E-Mail: laubrockuuni-potsdampde
Text: Heike Kampe
Online gestellt: Agnes Bressa
Kontakt zur Online-Redaktion: onlineredaktionuuni-potsdampde