Ergebnisse in einfachem Deutsch

Entwicklung eines Tests zum Verstehen von mehreren Texten zu einem Thema

Sowohl für ein erfolgreiches Studium als auch in der alltäglichen Konfrontation mit gesellschaftlichen und politischen Themen ist es essenziell, mit einer Vielzahl an Informationsquellen zu ein und demselben Thema umgehen zu können. Studierende werden zum Beispiel oft mit zahlreichen Büchern, Studien, etc. konfrontiert und sollten dann in der Lage sein, diese Menge an Informationen aus den Texten in Form einer Hausarbeit oder eines Referates zu einem sinnvollen Ganzen zu integrieren. Doch wie gut können Studierende das tatsächlich? Und wird diese Fähigkeit auch wirklich im Laufe der schulischen Bildung gefördert?

Um solche Fragen untersuchen und beantworten zu können, braucht man erst einmal einen Test, mit dem man diese Fähigkeit messen kann. Wir haben uns aus diesem Grund zunächst damit befasst, welche geistigen Anforderungen es beim Verstehen von mehreren Texten zu einem Thema (= Textverstehen multipler Dokumente) gibt. Auf dieser Basis haben wir dann einen computerbasierten Test entwickelt, der die entsprechenden Kompetenzen mit verschiedenen Aufgaben erfasst. Im nächsten Schritt haben wir diesen Test an 310 Studierenden durchgeführt und konnten Zusammenhänge des Testwerts mit Schul- und Studienleistungen finden, die darauf hindeuten, dass es sich beim Textverstehen multipler Dokumente um eine erlernbare Fähigkeit handelt, die sich mit fortschreitendem Studium weiterentwickelt.

Tisch mit verschiedenen Materialien ©PxHere
Ziele und Fragestellungen der Studie

Mit mehreren Texten angemessen umgehen zu können, birgt viele Herausforderungen. Einerseits müssen die Inhalte zusammengeführt werden, gleichzeitig sollte man aber auch noch Quelleninformationen beachten, wie zum Beispiel wer den Text verfasst hat und welche Ziele die Autorin oder der Autor damit verfolgt. Für die Entwicklung unseres Tests haben wir auf der Grundlage von empirischen Untersuchungen und theoretischen Überlegungen vier zentrale Kompetenzen für das Textverstehen multipler Dokumente abgeleitet, nämlich:

  1. Inhalte über mehrere Texte hinweg vergleichen,
  2. diese Inhalte dann auch sinnvoll verknüpfen,
  3. die Quellen der Texte einschätzen und vergleichen,
  4. und schließlich die Quelleninformationen in Kombination mit den Inhalten aus den verschiedenen Texten zueinander in Beziehung setzen.

Der von uns entwickelte Test besteht aus sechs Einheiten mit verschiedenen inhaltlichen Themen (z.B. das Ende des Universums). Zu jeder Einheit werden zwei bis drei Texte zum jeweiligen Thema inklusive kurzer Quelleninformationen zur Verfügung gestellt. Anhand dieser Texte sollen verschiedene Aufgaben bearbeitet werden, welche jeweils eine der vier aufgezählten Kompetenzen erfordern. Die Leitidee dabei war, dass man zur Lösung der Aufgaben Informationen aus mindestens zwei Texten gleichzeitig brauchen sollte. Diese Aufgaben waren entweder Multiple-Choice-Aufgaben oder Verifikationstests, bei denen man den Wahrheitsgehalt einer Aussage beurteilen muss.

Mit diesem Test konnten wir im nächsten Schritt untersuchen, ob Studierende in der Lage sind, mehrere Texte zu einem Thema zu verstehen, und wie sich das in den Schul- und Studienleistungen niederschlägt. Da die mit dem Test gemessenen Fähigkeit bereits in der Schule zur Bewältigung vieler Aufgaben gefordert wird, gingen wir zunächst davon aus, dass der Testwert positiv mit der Abiturnote zusammenhängt. Da sich aber diese Fähigkeit im Laufe des Studiums verbessern sollte, erwarteten wir, dass dieser Zusammenhang bei Bachelorstudierenden höher ist als bei Masterstudierenden und dass der Testwert generell bei Masterstudierenden höher ist.

Methodik
Screenshot des Tests

Es haben insgesamt 310 Studierende aus verschiedenen geistes- und sozialwissenschaftlichen Studiengängen aus dem Bachelor und Master teilgenommen. Die Studierenden führten den von uns entwickelten Test am PC durch. Dabei bearbeitete jede:r drei von den sechs Einheiten, wobei die Zuteilung zufällig erfolgte. Außerdem wurden noch weitere Merkmale erfasst, wie zum Beispiel die Abiturnote.

Ergebnisse

Im Großen und Ganzen bestätigten sich unsere Erwartungen: Der Testwert hing tatsächlich sowohl bei Bachelor- als auch bei Masterstudierenden positiv mit der Abiturnote zusammen; der Zusammenhang war im Master allerdings nur geringfügig und nicht statistisch signifikant kleiner. Zudem schnitten Masterstudierende generell besser im Test ab.

Weitere Datenauswertungen zeigten auch, dass sich die einzelnen Aufgaben in ihrer Schwierigkeit unterschieden haben: Inhalte über Texte hinweg zu vergleichen fiel den Testteilnehmenden am leichtesten, während die Kombination von Quellen- und Inhaltsinformationen am schwierigsten war.


Relevanz der Ergebnisse

Insgesamt deuten die Ergebnisse darauf hin, dass das Textverstehen multipler Dokumente tatsächlich eine bedeutende Fähigkeit darstellt, die für ein erfolgreiches Studium nötig ist. Was aber vielleicht noch wichtiger ist: diese Fähigkeit kann erlernt bzw. verbessert werden, wie sich durch die höheren Testwerte von Masterstudierenden zeigt.

Es sollte also in der Schule und im Studium seitens der Lehre ein besonderer Wert daraufgelegt werden, diese Fähigkeit zu fördern – nicht nur für gute schulische Leistungen, sondern auch, um in der heutigen Informationsgesellschaft besser zurechtzukommen. Der von uns entwickelte Test bietet außerdem eine wichtige Grundlage für weitere Forschung zum Textverstehen multipler Dokumente.


Die wissenschaftliche Publikation

Schoor, C., Hahnel, C., Artelt, C., Reimann, D., Kroehne, U., & Goldhammer, F. (2020). Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden. Diagnostica, 66, 123-135. https://doi.org/10.1026/0012-1924/a000231


Das Projekt

Die Studie ist entstanden im Rahmen des Projekts MultiTex, das vom BMBF gefördert wurde.