Data Science-Abschlussprojekt, Gruppe Nr. 36

Wir freuen uns sehr, die Erfolge unserer neuesten Absolventinnen und Absolventen des Full-Time-DS-Batches Nr. 36 zu feiern, die ihre Data-Science-Reise mit einem beeindruckenden, praxisnahen Projekt erfolgreich abgeschlossen haben. 

Diese Runde der Abschlusspräsentation zeigte wie Data Science und KI branchenübergreifend einen spürbaren Mehrwert schaffen können – von der Transformation von Business-Development-Workflows bis hin zur Neugestaltung moderner Marktfindungsprozesse. 

 

Können LLMs Studierende wirklich bewerten? Was die Analyse zeigt

Studierende: Shwetha Mangalore, Juan Sebastian Enciso, Thara Shanmugam
 

Mit der zunehmenden Integration künstlicher Intelligenz in den Bildungsbereich stellt sich eine wichtige Frage: Können Large Language Models (LLMs) studentische Leistungen ebenso zuverlässig bewerten wie menschliche Expertinnen und Experten?

Ein im Rahmen eines Capstone-Projekts in Zusammenarbeit mit Constructor Tech durchgeführtes Projekt untersuchte diese Frage, indem die Zuverlässigkeit von LLMs als automatisierte Bewertungsinstanzen analysiert wurde. Im Mittelpunkt stand die Frage, unter welchen Bedingungen ein LLM die Bewertung durch menschliche Expertinnen und Experten zuverlässig nachvollziehen kann und in welchen Situationen weiterhin eine menschliche Überprüfung erforderlich ist. Hintergrund ist der hohe zeitliche und personelle Aufwand, der mit der Bewertung großer Mengen studentischer Arbeiten verbunden ist. Eine manuelle Bewertung erfordert geschulte Reviewer und kann insbesondere bei großen Mengen an Antworten sehr zeitaufwendig werden.

Die Analyse konzentrierte sich auf offene Antworten aus Laborversuchen in Biologie, Chemie und Physik. Der Datensatz umfasste rund 1.090 Antwortpaare aus 20 Experimenten, wobei die Antworten auf Spanisch, Englisch und Türkisch verfasst waren. Die Bewertungen von Fachexpertinnen und -experten (Subject-Matter Experts, SMEs) dienten als Referenzstandard für die Bewertung von drei LLMs: GPT-4o-mini, Gemini 3 Flash und Claude Sonnet 4.

Der erste Vergleich zeigte deutliche Unterschiede zwischen den Modellen. Gemini erzielte mit einem Mean Absolute Error (MAE) von 5,85 Punkten den niedrigsten Fehlerwert, gefolgt von Claude mit 8,1 und GPT-4o-mini mit 13,8 Punkten. Alle drei Modelle bearbeiteten nahezu den gesamten Datensatz erfolgreich. Dies zeigt, dass die reine Erfolgs- bzw. Abschlussrate nicht ausreicht, um die Zuverlässigkeit bei der Bewertung zu beurteilen.

Eine detaillierte Analyse zeigte eine weitere wichtige Erkenntnis: Der Grading Bias war nicht über alle Fragetypen hinweg gleich. Dasselbe Modell konnte bei einem Fragetyp systematisch zu hohe und bei einem anderen zu niedrige Bewertungen vergeben. Darauf aufbauend wurde eine Korrektur des Bias auf Ebene der einzelnen Fragetypen untersucht. Dabei wurden Bewertungen entsprechend der beobachteten Richtung und Stärke des Fehlers angepasst. Gleichzeitig zeigte die Analyse eine wichtige Einschränkung: Korrekturen, die auf einem bestimmten Datensatz berechnet wurden, müssen anhand zurückgehaltener Daten validiert werden, um festzustellen, ob sie auch außerhalb der ursprünglichen Stichprobe generalisierbar sind.

Auch die Übereinstimmung mit den menschlichen Expertinnen und Experten verdeutlichte die Unterschiede zwischen den Modellen. Gemini erreichte einen gewichteten Cohen-Kappa-Wert von 0,753; bei 88,3 % der Bewertungen lag die Abweichung von der Bewertung der SMEs innerhalb von 10 Punkten. GPT-4o-mini und Claude Sonnet 4 erreichten mit 0,568 bzw. 0,548 niedrigere Übereinstimmungswerte.

 

Die Analyse spricht letztlich für einen Human-in-the-Loop-Ansatz anstelle einer vollständigen Automatisierung. Fragen zu Beobachtungen und Klassifikationen zeigten Potenzial für eine automatisierte Bewertung, während Aufgaben zu Messungen und Berechnungen besser durch Menschen überprüft werden sollten. Hypothesen und komplexe Erklärungen erforderten weiterhin menschliches Urteilsvermögen, da sie wissenschaftliches Schlussfolgern beinhalten und mehrere gültige Antworten möglich sein können.

Die Ergebnisse deuten daher darauf hin, dass die sinnvollste Rolle von LLMs in der Bewertung von Arbeiten möglicherweise nicht darin besteht, menschliche Expertinnen und Experten zu ersetzen, sondern sie zu unterstützen. Zuverlässige und eindeutig bewertbare Antworten könnten potenziell automatisiert werden, während komplexere oder unsichere Fälle an menschliche Reviewer weitergeleitet werden. Ein solcher Ansatz könnte den Aufwand bei der Bewertung großer Mengen an studentischen Arbeiten reduzieren und gleichzeitig sicherstellen, dass menschliches Fachwissen dort erhalten bleibt, wo es besonders wichtig ist.