Miguel Paker
Was haben Sie studiert?
Ich habe im Bachelor Arbeits- und Organisationspsychologie in Kamp-Lintfort studiert und danach meinen Master in Psychologie an der Universität Erfurt gemacht.
Wie sind Sie zu dieser Tätigkeit gekommen?
Ich bin seit meinem Start an der Universität Potsdam als akademischer Mitarbeiter angestellt. Innerhalb des Universitätskosmos bin ich am Zentrum für Qualitätsentwicklung in Lehre und Studium tätig und derzeit für zwei Projekte zuständig, die inhaltlich viele Überschneidungen haben. Auf die Stellenausschreibung bin ich durch eine ehemalige Studienkollegin aufmerksam geworden, die zu der Zeit bereits in dem Projekt „Profilgebundene WissensChecks 2.0“ gearbeitet hat, bei dem es sich um eine hochschulübergreifende Kooperation im Land Brandenburg handelte, die verschiedene Onlineangebote für Studieninteressierte entwickeln sollte. Innerhalb des Projekts gab es verschiedene Arbeitspakete; das der Universität Potsdam sah die Entwicklung eines brandenburgweiten Interessentests für die Bachelor- und Staatsexamensstudiengänge der beteiligten Hochschulen vor. In dem Projekt war gerade eine Stelle frei geworden, und mein Interesse an einer wissenschaftlichen Tätigkeit hat in den Jahren meines Masterstudiums entwickelt, sodass ich die Herausforderung gerne angenommen habe, ein eigenes Testverfahren zu entwickeln.
Mittlerweile bin ich zusätzlich in einem weiteren Projekt tätig, bei dem es um die Erstellung von Online-Self-Assessments geht. Online-Self-Assessments (kurz OSAs) sind internetbasierte, interaktive Informations- & Beratungsinstrumente, die einen möglichst genauen Einblick ins Studium geben und zur Selbstreflexion anregen sollen.
Welche drei Sachen haben Sie auf Arbeit zuletzt erledigt?
Ich habe einen Abschlussbericht vorbereitet, denn zum Ende einer Projektlaufzeit müssen Dokumentationen der erreichten Ergebnisse erstellt werden. Besonders wenn die Projekte durch Drittmittel finanziert wurden, kann man mithilfe solcher Berichte zeigen, welche Fortschritte innerhalb eines bestimmten Zeitrahmens gemacht wurden, und ob die Zielvorgaben erreicht werden konnten.
Zudem habe ich mich zuletzt um die Testung der Funktionen unseres Moodlesystems gekümmert. Das ist ein ganz entscheidender Faktor bei der Entwicklung von Testverfahren, die mit technischen Hilfsmitteln umgesetzt sind. Man muss schauen, ob Nutzerinnen und Nutzer alle angestrebten Funktionen in der Weise nutzen können, wie es gewünscht ist. Je nachdem wie komplex das System ist, kann das schon einige Zeit in Anspruch nehmen. Beim Interessentest sollen Personen, die das Verfahren durchlaufen, mithilfe von Items ihr Interesse an einer Tätigkeit angeben. Um das Interesse zu erfassen wird eine 5-stufige Skala mit den Ausprägungen von „trifft überhaupt nicht zu“ bis „trifft voll und ganz zu“ verwendet. Da die Teilnehmerinnen und Teilnehmer im Anschluss an den Test eine ordentliche Ergebnisrückmeldung bekommen sollen, muss geschaut werden, ob ein bestimmtes Antwortmuster auch zu dem gewünschten Ergebnis führt. Da wir uns gerade in der Phase kurz vor der Liveschaltung befinden, sollten alle Funktionen gründlich überprüft werden.
Ansonsten habe ich noch Absprachen mit verschiedenen Gruppen und Leuten getroffen, um nächste Arbeitsschritte zu definieren und Aufgaben aufzuteilen.
Welche Herangehensweisen und Ansätze gibt es für die Konzeption und Konstruktion von Test- bzw. Assessmentfragen?
Im Grunde startet man immer damit, Informationen über das zu erfassende Konstrukt zu sammeln. Man schaut also, welche Theorien und Modelle es zu dem Bereich bereits gibt, und inwieweit diese für den eigenen Untersuchungsschwerpunkt relevant sind. Danach gibt es mehrere Herangehensweisen, um Items (=Testfragen oder –aufgaben) zu erstellen. Entweder man nutzt vorhandene Theorien und leitet daraus die Struktur für die eigene Itementwicklung ab, wobei man von einem deduktiven Vorgehen spricht. Oder man entwickelt ohne diese Vorannahmen eine gewisse Anzahl an Items, die den Untersuchungsgegenstand möglichst umfassend erfassen, und versucht (induktiv) eine Struktur des Konstrukts mithilfe von Untersuchungen oder Befragungen zu ermitteln. Man kann aber natürlich auch bereits existierende Items oder gesamte Skalen für den eigenen Untersuchungsgegenstand adaptieren. In allen Fällen sollte man auf jeden Fall mehr Testitems entwickeln als für den finalen Test benötigt werden, damit man nach der Erprobung unzureichende Items entfernen kann.
Bei der Erstellung neuer Items sollte man darauf achten, dass man einige grundsätzliche Regeln berücksichtigt, um fehlerhaftem Antwortverhalten vorzubeugen. Fehlerhaftem Antwortverhalten vorbeugen meint in diesem Zusammenhang aber nicht, dass man darauf abzielt, dass alle Personen ein Item richtig beantworten können, sondern vielmehr, dass das Item richtig verstanden wird und keine Missverständnisse durch gewisse Formulierungen entstehen. U. a. sollte man also darauf achten, dass Items einfach zu verstehen, kurz, konkret und eindeutig formuliert sind. Abhängig vom zu betrachtenden Konstrukt werden in der Regel unterschiedliche Frageformate verwendet. Bei Tests, die die Leistung einer Person in einem bestimmten Gebiet erfassen sollen, kommen einige Formate in Frage: häufig verwendet werden Multiple-Choice-Fragen oder offene Frageformate, bei denen richtige und falsche Antworten gegeben werden können. Bei Fragebögen, wie z. B. einem Persönlichkeitsfragebogen, gibt es dagegen keine richtigen oder falschen Antworten und es werden eher Einschätzungen mithilfe einer Skala erfragt. In beiden Fällen ist man normalerweise nach der klassischen Testtheorie auf eine mittlere Itemschwierigkeit aus. Das bedeutet, dass Items so gestaltet sei sollen, dass nicht immer alle Personen die richtige Antwort geben bzw. der Aussage immer zustimmen oder umgekehrt, sondern ein ausgewogenes Antwortverhalten über Versuchspersonen zu beobachten ist.
"Einen Leistungstest für den Bereich Mathematik
für die 4. Klasse zu entwerfen bedeutet einen anderen Aufwand
als einen neuen wissenschaftlich fundierten Persönlichkeitstest zu entwickeln."
Wie viel Zeit nimmt die Entwicklung eines Tests oder eines Self-Assessments durchschnittlich in Anspruch? Werden Probedurchläufe gemacht, um die Präzision der Ergebnisse zu überprüfen?
Wie lange die Entwicklung eines Tests oder eines Online-Self-Assessments dauert, kann man pauschal gar nicht beantworten. Das hängt natürlich von vielen unterschiedlichen Faktoren ab. Vorrangig natürlich davon, was man genau entwickeln möchte, und was der Ausgangspunkt ist. Einen Leistungstest für den Bereich Mathematik für die 4. Klasse zu entwerfen bedeutet einen anderen Aufwand als einen neuen wissenschaftlich fundierten Persönlichkeitstest zu entwickeln. Wie der Name schon sagt, sollen Online-Self-Assessments es Nutzerinnen und Nutzern möglich machen, jederzeit auf digitale Inhalte zuzugreifen. Damit das gelingen kann, muss dafür entweder erst ein entsprechendes System aufgebaut werden, oder man kann bereits vorhandene Strukturen nutzen und muss sich nur noch um die Inhalte kümmern. Ganz entscheidend sind natürlich auch die Personalressourcen, die zur Verfügung stehen, d. h. arbeitet man komplett alleine oder in einem großen Team. All das bedingt den zeitlichen Rahmen, der eingeplant werden sollte.
Wie weiter oben bereits erwähnt, durchläuft die Entwicklung von einzelnen Items oder Tests verschiedene Phasen. Probedurchläufe können in unterschiedlichen Formen an verschiedenen Stellen im Prozess stattfinden. Wünschenswert ist natürlich eine umfassende Testung durch mehrere Parteien zu mehreren Zeitpunkten. Mit Testung sind in diesem Zusammenhang eine Reihe von unterschiedlichen Arbeits- und Kontrollschritten gemeint. Es kann die Testung von Funktionen eines Programms sein, sprich es wird geschaut, ob eine Person die nachfolgenden Seiten oder Bereiche nur dann erreichen kann, wenn eine bestimmte Bedingung erfüllt ist. Es kann damit die Kontrolle der Auswertungsroutinen gemeint sein, wo geschaut wird, ob ein vorgegebenes Antwortverhalten zu der gewünschten Ergebnisrückmeldung führt. Aber es kann eben auch der Testdurchlauf gemeint sein, bei dem ein neuentwickeltes Verfahren mithilfe einer Beispielstichprobe erprobt wird. Die Art und Weise der Probedurchläufe ist immer abhängig vom Verfahren. Bei der Erstellung von Beispielaufgaben aus dem Studium für unsere OSAs z. B. bekommen wir Aufgaben aus dem jeweiligen Fachbereich übermittelt. Wir setzen diese dann im geeigneten Format in unserem System um und testen dann die Funktionalität. Danach schaut sich der Fachbereich die Umsetzung der Aufgaben auch noch einmal an. Erst danach werden die Aufgaben den Studieninteressierten zur Verfügung gestellt. Wir kontrollieren dann in regelmäßigen Abständen, wie gut die Aufgaben bei unseren Nutzerinnen und Nutzern funktionieren. Möchte man aber z. B. einen Fragebogen entwickeln, der Angststörungen bei Kindern diagnostiziert, dann sollte dieser an verschiedenen Stichproben erprobt worden sein, bevor er als valides Instrument anerkannt ist und in der Praxis Verwendung findet.
Haben Sie eine klassische 40-Stunden-Woche?
Je nachdem, was man unter „klassisch“ versteht. Laut Arbeitsvertag habe ich eine 40-Stunden-Woche, wobei die Arbeitszeit selbstständig einteilbar ist, d. h. ich kann mir aussuchen, wann ich anfange, wann ich Pausen mache, und wann ich aufhöre zu arbeiten. Noch dazu habe ich die Möglichkeit, einen Teil meiner Arbeitszeit Zuhause zu verbringen. Es handelt sich also nicht um den klassischen „Nine-to-five-Job“, bei dem ich jeweils acht Stunden am Tag von Montag bis Freitag im Büro sitze.
Arbeiten Sie eher im Team oder eher für sich alleine?
Insgesamt arbeite ich schon eher im Team, wobei es natürlich immer wieder Phasen oder Zeitfenster gibt, in denen ich für mich arbeiten kann. Für die Entwicklung der OSAs sind wir zum Beispiel ein Team aus unterschiedlichen Bereichen, das zusammenarbeiten muss, um am Ende zu einem ordentlichen Gesamtergebnis zu kommen. Wir haben jemanden für die ganzen technischen Anpassungen am verwendeten System, der aus dem Bereich Informatik kommt und dafür sorgt, dass unsere Webseite so funktioniert, wie wir das gerne hätten. Wir haben eine Kollegin aus der Mediengestaltung, die dafür zuständig ist, dass alle Inhalte für die Nutzerinnen und Nutzer ansprechend, übersichtlich und einheitlich aufbereitet sind. Und somit sind viele Absprachen nötig, damit jeder weiß, was zu tun ist, und Aufgaben verteilt werden können, die dann in Einzel- oder Gruppenarbeit bearbeitet werden.
Ihre Tipps für Berufseinsteiger*innen?
Nehmen Sie sich die Zeit, um im Berufsleben anzukommen und die oftmals neue Umgebung, das Unternehmen, die Kolleginnen und Kollegen ordentlich kennenzulernen. Scheuen Sie sich nicht und fragen Sie so viel wie möglich nach. Profitieren Sie vom Wissen der Kolleginnen und Kollegen, die bereits länger im Unternehmen tätig sind, und lassen sich Prozesse erklären. Wenn Ihnen irgendetwas unklar ist, erkundigen Sie sich, bevor Sie unnötige oder fehlerhafte Arbeit verrichten. Aber lassen Sie sich nicht davon abbringen, Ihre eigenen Ideen und Vorstellungen in die bestehenden Abläufe einfließen zu lassen.
Vielen Dank für die spannenden Einblicke in die Tätigkeit als Testentwickler, Miguel Paker!
Das schriftliche Interview wurde im September 2022 geführt.
