Nachricht

Jul 28, 2023

ChatGPT besteht eine weitere ärztliche Untersuchung und ist der MD einen Schritt näher gekommen

ChatGPT wird zu einem

ChatGPT entwickelt sich zu einem großartigen Teilnehmer an medizinischen Tests.

Seine neueste und fortschrittlichste Version, ChatGPT-4, kann die US-amerikanische medizinische Zulassungsprüfung bereits mit Bravour bestehen. Und nun ist es der Ausbildung zum Facharzt einen Schritt näher gekommen. Naja, so ungefähr.

Am Dienstag gaben Wissenschaftler bekannt, dass die neueste Chatbot-Software von OpenAI problemlos eine kanadische oder US-amerikanische Radiologieprüfung bestehen kann – und dabei mehr als zehn Punkte über der 70-Prozent-Bestehensschwelle erzielt.

Aber es gibt einen Haken: Da ChatGPT (bisher) nur für die Verarbeitung von Sprache konzipiert ist, enthielt die radiologische Untersuchung der KI keine Bilder. Fühlt sich wie eine Art großes Versehen für einen Zweig der Medizin an, der sich mit der Diagnose auf der Grundlage von Röntgenaufnahmen, MRTs und anderen Körperbildern beschäftigt.

ChatGPT hat sich als herausragender Testteilnehmer erwiesen – das Unternehmen hat Prüfungen bestanden, darunter den SAT, die Anwaltsprüfung und sogar die anspruchsvollen Master-Sommelier-Tests.

Bei der radiologischen Prüfung erzielte ChatGPT-4 eine bestandene Punktzahl von 81 %. Besonders gut schnitt der Bot bei Fragen zum Denken höherer Ordnung ab, die Fähigkeiten erfordern, die über das bloße Erinnern hinausgehen, wie etwa Analyse, Synthese und Bewertung; ChatGPT-4 schnitt gut bei der Beschreibung von Bildgebungsbefunden (85 %) und der Anwendung von Konzepten (90 %) ab. Aber bei einigen der einfacheren Fragen im Test schnitt es nicht so gut ab und beantwortete tatsächlich 12 dieser Fragen falsch, während sein Vorgänger, GPT 3.5, richtig beantwortete.

„Wir waren zunächst von den genauen und sicheren Antworten von ChatGPT auf einige anspruchsvolle radiologische Fragen überrascht“, sagte Studienautor Dr. Rajesh Bhayana, ein Abdominalradiologe am Toronto General Hospital, in einer Pressemitteilung. „Aber dann ebenso überrascht von einigen sehr unlogischen und ungenauen Behauptungen.“

Im Kern ist ChatGPT einfach darauf ausgelegt, das beste nächste auszuspuckende Wort vorherzusagen – mit anderen Worten, es ist darauf ausgelegt, Sie zu unterhalten. Diese Geschwätzigkeit kann leicht genutzt werden, um Prüfungen zu dominieren, was zu einem sehr selbstbewussten (aber manchmal falschen) Prüfungsteilnehmer führt.

Die Brown-Informatikprofessorin Ellie Pavlick, eine Expertin für die Verarbeitung natürlicher Sprache, sagt, dass dieses Problem nicht nur bei Chatbots auftritt. Es fiel ihr immer schwer, anhand ihrer schriftlichen Prüfungsantworten festzustellen, ob die Schüler die von ihr vermittelten Konzepte wirklich verstehen.

„Wenn Sie eine gut konstruierte Sprache vermitteln, scheint es, als ob Sie es wissen, aber vielleicht wissen Sie es, vielleicht auch nicht“, sagte Pavlick kürzlich während eines ChatGPT-Roundtables an der Brown University. „Das ist ein schöner Hinweis darauf, warum wir ChatGPT viel mehr Wissen und Bekanntheit zuschreiben wollen, als es tatsächlich hat, denn gut konstruierte Sprache hat einfach etwas, das [schlechtes] Verständnis wirklich verbergen kann.“

Ärzte sagen, dass ChatGPT nicht zur Diagnose oder Behandlung von Patienten verwendet werden sollte und die medizinische Richtigkeit immer von einer Person überprüft werden sollte. Aber auch medizinische Experten entdecken, dass ChatGPT ein nützliches Werkzeug sein kann, um die Kommunikation eines Arztes mit seinen Patienten zu verbessern. Gerade weil ChatGPT sich durch Scherze auszeichnet, wird es oft als mitfühlender angesehen als eilige Ärzte.

Lesen Sie weiter