Zum Inhalt springen

Kann ChatGPT für Prüfungsformate auch individuelle Fragestellungen bewältigen?

Ein Praxistest zu „Anti-Copy&Paste-Aufgaben“

Screenshot mit folgendem Text von ChatGPT:

Hier sind einige Vorschläge für Charaktere, die die Hauptfiguren in Ihrer Bildergeschichte zur Photosynthese darstellen können:

Sonny, das Sonnenlicht: Sonny ist ein fröhlicher und energiegeladener Charakter, der die Sonnenstrahlen repräsentiert. Er ist immer gut gelaunt und spielt eine wichtige Rolle bei der Bereitstellung von Energie für die Photosynthese. Sonny hat vielleicht eine strahlende, gelbe Farbe und trägt Sonnenbrillen oder einen Sonnenhut.

Chlorie, das Chlorophyll: Chlorie ist ein freundliches und sanftes grünes Blatt, das das Chlorophyll repräsentiert. Sie ist verantwortlich für die Absorption von Sonnenlicht und die Umwandlung von Lichtenergie in chemische Energie. Chlorie könnte eine lebhafte grüne Farbe haben und als Blatt oder Teil eines Blattes dargestellt werden.

Wally, das Wasser: Wally ist ein lustiger, sprudelnder Wassertropfen, der das Wasser in der Photosynthese repräsentiert. Er ist immer bereit, den Pflanzen zu helfen und versorgt sie mit dem Wasser, das sie für die Photosynthese benötigen. Wally könnte eine blaue Farbe haben und als fröhlicher Wassertropfen dargestellt werden.

Ausgangspunkt

Beat Doebeli schreibt im April 2023:

Gewisse Prüfungsformate sind künftig anfällig für Betrug
Schriftliche Hausaufgaben und Prüfungen am Computer ohne entsprechende Aufsicht und/oder Gegenmassnahmen können künftig zum Teil einfach mit KI-Sprachgeneratoren gelöst werden. Entsprechende Beispiele sind bereits zahlreiche auf dem Internet zu finden.
Individuelle Fragestellungen schützen nicht mehr vor möglichem Betrug
Vor dem Aufkommen von KI-Textgeneratoren hat es gereicht, statt allgemeiner sehr individuelle Fragestellungen zu formulieren („Beschreibe den Feldzug von Napoleon aus der Sicht eines russischen Bauern“) weil die Antwort auf exakt diese Fragestellung noch nicht auf dem Internet verfügbar war. Heutige KI-Textgeneratoren liefern jedoch auch auf solche Fragestellungen Antworten.“

Vorgehen

Die These des zweiten Absatzes oben soll empirisch überprüft werden.

Dafür wird eine Liste von Aufgabenstellungen verwendet, die am 13.4.2013 kollaborativ beim Educamp in Hamburg als „Anti-Copy&Paste-Aufgaben“ erarbeitet werden (Kopie der Dokumentation). Die formulierten Aufgaben hatten den Anspruch, dass sie alte Aufgabenstellungen ersetzen können, die durch Googlen, Copy and Paste gelöst werden könnten. Die neuen Fragestellungen sollten also „Copy&Paste-sicher“ sein.

Exakt 10 Jahre danach, an 13.4. 2023, wurden einige dieser Aufgaben übernommen und ChatGPT 4Mar 23 Version zur Lösung übergeben. Dabei wurde die Formulierung teilweise leicht angepasst, aber ohne dass dafür ein elaboriertes Prompt Engineering zum Einsatz kam.

Ergebnis

Es wirkt so, als könne ChatGPT die Aufgaben beim ersten Anlauf i.d.R. zumindest zufriedenstellend lösen. Eine kleine Ausnahme bildet die Aufgabenstellung im Beispiel „Globalisierung“, die auf eine subjektive Perspektive abzielt. Für eine genauere Prüfung müsste im nächsten Schritt die fachliche Richtigkeit geprüft werden. 

Dokumentation

Die genauen Aufgabenstellungen und die Lösungen sind als Google Doc dokumentiert.

Ein Gedanke zu „Kann ChatGPT für Prüfungsformate auch individuelle Fragestellungen bewältigen?“

  1. Die Aufgabe zum Sueskanal ist m.E. gar nicht mal so schlecht gelöst.
    Völlig daneben ist die Beschreibung der Arbeit des römischen Bauern: Die Mühsal der Arbeit, die Probleme mit dem Wetter, seine Werkzeuge, seine Zugtiere, fast nichts von dem, was seine Arbeit betrifft, kommt vor. Er ist fixiert auf das Gesetz von Angebot und Nachfrage.
    Früher hätte man das als mangelnde Einfühlung in die damalige Lebenssituation werten können.
    In Kenntnis der Tatsache, dass es ChatGPT gibt, kann man im Grunde sicher sein, dass hier KI stur lauter Beispiele abgespult hat. Welcher Schüler würde sich die Mühe machen, so viele Beispiele alle nach dem gleichen Schema abzuarbeiten?

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert