Ein Praxistest zu „Anti-Copy&Paste-Aufgaben“
Ausgangspunkt
Beat Doebeli schreibt im April 2023:
„Gewisse Prüfungsformate sind künftig anfällig für Betrug
Schriftliche Hausaufgaben und Prüfungen am Computer ohne entsprechende Aufsicht und/oder Gegenmassnahmen können künftig zum Teil einfach mit KI-Sprachgeneratoren gelöst werden. Entsprechende Beispiele sind bereits zahlreiche auf dem Internet zu finden.
Individuelle Fragestellungen schützen nicht mehr vor möglichem Betrug
Vor dem Aufkommen von KI-Textgeneratoren hat es gereicht, statt allgemeiner sehr individuelle Fragestellungen zu formulieren („Beschreibe den Feldzug von Napoleon aus der Sicht eines russischen Bauern“) weil die Antwort auf exakt diese Fragestellung noch nicht auf dem Internet verfügbar war. Heutige KI-Textgeneratoren liefern jedoch auch auf solche Fragestellungen Antworten.“
Vorgehen
Die These des zweiten Absatzes oben soll empirisch überprüft werden.
Dafür wird eine Liste von Aufgabenstellungen verwendet, die am 13.4.2013 kollaborativ beim Educamp in Hamburg als „Anti-Copy&Paste-Aufgaben“ erarbeitet werden (Kopie der Dokumentation). Die formulierten Aufgaben hatten den Anspruch, dass sie alte Aufgabenstellungen ersetzen können, die durch Googlen, Copy and Paste gelöst werden könnten. Die neuen Fragestellungen sollten also „Copy&Paste-sicher“ sein.
Exakt 10 Jahre danach, an 13.4. 2023, wurden einige dieser Aufgaben übernommen und ChatGPT 4Mar 23 Version zur Lösung übergeben. Dabei wurde die Formulierung teilweise leicht angepasst, aber ohne dass dafür ein elaboriertes Prompt Engineering zum Einsatz kam.
Ergebnis
Es wirkt so, als könne ChatGPT die Aufgaben beim ersten Anlauf i.d.R. zumindest zufriedenstellend lösen. Eine kleine Ausnahme bildet die Aufgabenstellung im Beispiel „Globalisierung“, die auf eine subjektive Perspektive abzielt. Für eine genauere Prüfung müsste im nächsten Schritt die fachliche Richtigkeit geprüft werden.
Dokumentation
Die genauen Aufgabenstellungen und die Lösungen sind als Google Doc dokumentiert.
Die Aufgabe zum Sueskanal ist m.E. gar nicht mal so schlecht gelöst.
Völlig daneben ist die Beschreibung der Arbeit des römischen Bauern: Die Mühsal der Arbeit, die Probleme mit dem Wetter, seine Werkzeuge, seine Zugtiere, fast nichts von dem, was seine Arbeit betrifft, kommt vor. Er ist fixiert auf das Gesetz von Angebot und Nachfrage.
Früher hätte man das als mangelnde Einfühlung in die damalige Lebenssituation werten können.
In Kenntnis der Tatsache, dass es ChatGPT gibt, kann man im Grunde sicher sein, dass hier KI stur lauter Beispiele abgespult hat. Welcher Schüler würde sich die Mühe machen, so viele Beispiele alle nach dem gleichen Schema abzuarbeiten?