KI oder Profs? Studenten bevorzugen die menschliche Bewertung

Feedback spielt beim Lernen eine wesentliche Rolle. Es hilft Studentinnen und Studenten, ihre Leistungen zu verstehen und zu verbessern. Aufgrund der grossen Zahl und Vielfalt studentischer Gemeinschaften weltweit ist es jedoch oft schwierig, zeitnah persönliches Feedback zu geben.

Die jüngsten Fortschritte in der generativen KI bieten eine Lösung für diese Herausforderungen. Die meisten Studien befassen sich jedoch vorwiegend mit technologischen Aspekten, etwa mit der Präzision der Modelle, und lassen die sozio-emotionalen Aspekte der Akzeptanz von KI ausser Acht.

Forscherinnen und Forscher des Labors für maschinelles Lernen in der Bildung (ML4ED), das der Fakultät für Informatik und Kommunikation der EPFL angeschlossen ist, haben untersucht, wie die Identität der Feedbackquelle deren Wahrnehmung durch die Studentinnen und Studenten beeinflusst.

In ihrem Artikel mit dem Titel AI or Human? Evaluating Student Feedback Perceptions in Higher Education (KI oder Mensch? Evaluation der Wahrnehmung von Feedback an Studentinnen und Studenten in der Hochschulbildung), der an der Europäischen Konferenz über technologiegestütztes Lernen vorgestellt wurde, beschreiben sie, wie mehr als 450 Studentinnen und Studenten der EPFL verschiedener akademischer Stufen bzw. Programme ihr individuelles Feedback in einem authentischen Bildungskontext beurteilten, bevor und nachdem sie erfahren hatten, ob es von KI oder Menschen stammte.

Unsere Untersuchungen haben ergeben, dass die Studentinnen und Studenten keinen Unterschied in der Qualität oder Freundlichkeit des Feedbacks wahrnehmen, bevor sie erfahren, ob es von einem Menschen oder der KI stammt. Sobald sie herausfinden, dass sie KI-gestütztes Feedback erhalten haben, senken sie die Punktzahl der KI oder erhöhen die Punktzahl des Menschen. Daraus schliessen wir, dass sie der KI nicht vertrauen.

Die Teilnehmerinnen und Teilnehmer der Studie wurden auch gebeten, zu erraten, ob das Feedback von einem Menschen oder von der KI stammt. Insgesamt lagen 274 von 457 Personen mit ihren Vermutungen richtig. Die Forscherinnen und Forscher stellten fest, dass weder Alter noch Geschlecht einen signifikanten Einfluss darauf hatten, ob die Antworten richtig waren. Allerdings ergab sich je nach Art der Aufgabe, für die Feedback erteilt wurde, ein Unterschied: So fiel es den Studentinnen und Studenten bei Coding-Projekten leichter, das von KI erzeugte Feedback zu erkennen, als bei kurzen Aufgaben, bei denen es um logisches Denken ging.

Nach Einschätzung der Forscherinnen und Forscher besteht eine der wichtigsten von der Studie aufgeworfenen Fragen darin, wie das wahrgenommene Vertrauen in KI als Feedbackquelle die reale Umsetzung dieses Feedbacks in der Lehre beeinflussen kann.

«Das hat erhebliche Auswirkungen auf das Lernen. Gutes Feedback vermittelt einer Person, was sie richtig oder falsch gemacht hat und welche Schritte sie als nächstes unternehmen kann. Ist eine Person weniger bereit, das Feedback anzunehmen, weil es von einer KI stammt und sie dieser nicht vertraut, so hat sie weniger Gelegenheit, ihren Lernprozess zu verbessern, weil diese KI-Modelle an Hochschulen zunehmend eingesetzt werden», erklärt Tanya Nazaretsky, Postdoc-Forscherin im Labor ML4ED und Erstautorin des Artikels.

Der KI kommt ohne Zweifel eine wichtige Rolle bei der Unterstützung des Lernens in Bildungssystemen zu. Auch die Bereitschaft, sie zu akzeptieren, ist gross. Die Studie hat jedoch einige Bedenken zutage gefördert, insbesondere in Bezug auf mangelnde Transparenz und Rechenschaft, Verletzungen der Privatsphäre und Datenquellen, mit denen die KI trainiert wird.

«Grund zu Bedenken gab etwa die Fähigkeit der KI, den tatsächlichen Lernkontext ausserhalb der ihr bekannten Grenzen zu verstehen. Viele Studentinnen und Studenten sagten dazu Folgendes: «Die KI kennt mich nicht persönlich und sieht nur, was im System ist. Es gibt aber auch noch andere Faktoren, die für den Lernprozess wichtig sind und die für die KI nicht sichtbar sind.» Trotz der Bereitschaft, KI zu akzeptieren, herrscht ein echter Mangel an Vertrauen vor, der die Einführung solcher Lösungen in der Praxis bremst», fügt Tanya Nazaretsky hinzu.

Tanja Käser meint rückblickend, dass die klare Präferenz für menschliches Feedback unerwartet war. Auf jeden Fall aber machen die Ergebnisse der Studie deutlich, dass noch viel mehr Forschung notwendig ist, damit KI in Lernumgebungen angenommen und integriert wird.

Nehmen wir einmal an, die KI wäre perfekt. Dann müssten wir trotzdem noch zeigen, wie sie angepasst und optimal in die Studienprogramme und in die Lehre integriert werden kann. Eine der wichtigsten Schlussfolgerungen dieses Artikels ist, dass wir niemals den menschlichen Aspekt vergessen dürfen.