Nachdem Ende letzten Jahres der Hype um ChatGPT losging, musste ich mich vor einigen Wochen auch einmal anmelden und das Ding ausprobieren. Und ich muss sagen, ich bin erschüttert, vor allem, wenn man die Medienberichte der letzten Wochen im Hinterkopf hat.

Das Ding liefert wohl formulierte Aussagen, aber leider SEHR oft völlig falsch.

Ich weiß nicht, mit welchen Fragen die Journalisten die KI gelöchert haben, aber meine ersten Versuche lieferten eigentlich nur absolut falsche Ergebnisse. Dabei ging es nicht um irgendwelche Randthemen. Ich habe etwa Fragen zu der Stadt Lübeck gestellt. Mit über 200.000 Einwohnern und einer wichtigen Rolle in der Geschichte eine nicht unbedeutende Stadt.

Ich habe extra Fragen gestellt, deren Antwort ich weiß, um festzustellen, ob die Auskunft brauchbar ist. Manchmal gab es Antworten die OK waren, manche waren völlig unsinnig. Da ist plötzlich “Hansa Rostock” der erfolgreichste Lübecker Fußballverein oder es gibt in der Altstadt ein königliches Schloss, was so nicht existiert, weil Lübeck ja früher eine freie Stadt war.

Konfrontiert man ChatGPT mit dem Fehler, erhält man auch gleich eine Entschuldigung und die Auskunft ins Gegenteil verkehrt. Das kann man übrigens auch mit richtigen Antworten machen. Wenn ChatGPT richtigerweise sagt, dass Lübeck für sein Marzipan bekannt ist, und man widerspricht und behauptet, dass Lübeck doch eher für Gummibärchen bekannt sei, wird diese falsche bestätigt und mal eben der Hauptsitz von Haribo nach Lübeck verlegt.

Lustig war auch eine Frage nach dem Herrentunnel. Das ist ein mautpflichtiger Tunnel, der 2005 eröffnet wurde. ChatGPT gibt folgende Auskunft:

Der Lübecker Herrentunnel ist ein unterirdischer Tunnel, der unter der Lübecker Altstadt hindurchführt. Er ist besonders, da er während des Zweiten Weltkriegs von den Nazis gebaut wurde, um ihre U-Boot-Basis vor Angriffen zu schützen. Der Tunnel ist heute ein beliebtes Touristenziel und kann besichtigt werden.

Stellt man die gleiche Frage, erhält man unterschiedliche Antworten, so ist der Tunnel mal als ursprünglich als Abwasserkanal gebaut worden, dann verläuft nicht mehr unter der Trave, sondern unter der Ostsee, usw. Die Breite der Antworten ist groß. Nur sind sie meistens falsch. Aber ChatGPT antwortet stets sehr überzeugt. Eine Aussage wie “Ich weiß es nicht genau” oder “Ich bin mir nicht sicher” wäre oft angebracht, nur bekommt man sie nicht.

Also wer auf der Basis Referate oder Aufsätze sollte sich nicht wundern, wenn er eine glatte 6 bekommt.

“Da fliegt einem das Blech weg, wenn man das sieht.” – ein Zitat aus dem Roman “Der Krieg im Frieden” (1995) von Autor Günter Grass

CHatGPT

Tatsächlich geholfen hat mir ChatGPT einmal, um ein kleines Skript zu schreiben, welches Messwerte eines Sensors filtert und umformatiert und dann in eine Datenbank schreibt. Das hat funktioniert.

Also ich denke die Technik vielleicht schon so revolutionär wie berichtet, allerdings muss die Basis der Trainingsdaten noch deutlicher größer und umfangreicher werden.