TechTäglich:
Warum du ChatGPT besser nicht programmieren lässt
Beim Coden auf ChatGPT verlassen? Besser nicht. Eine neue Studie der Purdue-Universität in West Lafayette im US-Bundesstaat Indiana kommt zu erstaunlichen Ergebnissen. Wie schlecht ChatGPT arbeitete und was die Forscher raten.
.
Programmierer rauswerfen und Anwendungen von der KI bauen lassen? Schlechte Idee! Wer sich beim Coden auf ChatGPT verlässt, kann erhebliche Probleme bekommen. Das zeigt eine neue Studie der Purdue-Universität in West Lafayette im US-Bundesstaat Indiana.
Die Forscher hatten dem System über 500 Fragen zur Softwareprogrammierung gestellt. Beurteilt wurde nicht nur, ob die Auskünfte von ChatGPT richtig waren, sondern auch ob sie vollständig, konsistent und prägnant waren. Auch der Sprachstil und die Stimmung des Textes wurde ausgewertet.
Das Ergebnis: Mehr als die Hälfte wurde von ChatGPT falsch beantwortet! Das Tool von OpenAI lag nur bei 48 Prozent der Fragen richtig. Aufgrund der guten Wortwahl bevorzugten 40 Prozent der Teilnehmerinnen und Teilnehmer ChatGPTs Auskünfte. Das Problem: 77 Prozent dieser Auskünfte waren schlicht falsch.
Auf Google Bard und ChatGPT ist noch kein 100-prozentiger Verlass.
Foto: Shutterstock/dia tv
"Während unserer Studie haben wir festgestellt, dass Benutzer den Fehler nur dann identifizieren können, wenn der Fehler in der ChatGPT-Antwort offensichtlich ist", schreiben die Forscher laut dem Portal The Register. "Wenn der Fehler jedoch nicht ohne Weiteres überprüfbar ist oder eine externe IDE oder Dokumentation erfordert, erkennen Benutzer die Unrichtigkeit oft nicht oder unterschätzen den Grad des Fehlers in der Antwort."
Das größte Problem aus Sicht der Wissenschaftler: "Viele Antworten sind falsch, weil ChatGPT nicht in der Lage ist, den zugrundeliegenden Kontext der gestellten Frage zu verstehen."
Die Anbieter generativer KI sind sich dessen bewusst. Die Studie bestätigt, was Google schon länger weiß. So warnt der Konzern zum Beispiel seine Angestellten regelmäßig vor dem eigenen KI-Bot Bard. Man solle den von Bard generierten Code "nicht direkt verwenden". Häufiger mache Bard "unerwünschte Vorschläge".
Apple, Amazon und Samsung haben daher vorerst die Nutzung von ChatGPT verboten.
Alle TechTäglich-News findest du hier.
Du möchtest die spannendsten News aus der Digitalmarketing- und Tech-Welt jeden Tag direkt in deine Inbox? Melde dich hier für unseren W&V Digital Newsletter an.
Du willst wissen, wie und wo du dein Werbebudget am besten einsetzt? Du willst dich mit den Entscheidern der Branche austauschen? Dann ist der W&V Summit dein Ding. Melde dich hier an >>>
Wenn du KI-Tools verstehen und in deine Arbeit erfolgreich anwenden willst, bist bei den Fortbildungsangeboten von W&V genau richtig. Hier gehts zu unseren Hands-on-Trainings.
