ChatGPT Health, chatbotul OpenAI, subestimează frecvent urgențele medicale
Un studiu recent publicat în revista Nature Medicine atrage atenția asupra performanțelor ChatGPT Health, o versiune specializată a chatbot-ului OpenAI, dedicată domeniului medical. Rezultatele cercetării indică faptul că platforma subestimează în mod alarmant de multe ori gravitatea unor probleme de sănătate, ceea ce ar putea duce la consecințe grave pentru utilizatori.
Studiul a fost realizat prin testarea capacității ChatGPT Health de a evalua scenarii medicale inspirate din viața reală. Răspunsurile chatbot-ului au fost comparate cu cele oferite de medici, care au evaluat cazurile pe baza experienței și a ghidurilor clinice. Au fost analizate 60 de scenarii, cu 16 variații pentru fiecare, incluzând diverse simptome și circumstanțe.
Subestimarea severității și recomandări eronate
Conform rezultatelor, ChatGPT Health a subestimat gravitatea problemelor de sănătate în peste 51% din cazuri, recomandând pacienților să aștepte sau să programeze o consultație obișnuită, în loc să indice prezentarea urgentă la spital. În același timp, chatbot-ul a exagerat severitatea situațiilor în aproape 65% din cazuri, sugerând îngrijiri medicale chiar și atunci când acestea nu erau necesare.
Alex Ruani, cercetător doctoral la University College London, a descris rezultatele ca fiind „incredibil de periculos”. Ea a subliniat riscul ca pacienții să ia decizii greșite pe baza sfaturilor AI, în special în situații critice precum insuficiența respiratorie sau cetoacidoza diabetică. Potrivit cercetătoarei, „dacă cineva este sfătuit să aștepte 48 de ore în timpul unui atac de astm sau al unei crize diabetice, această liniștire i-ar putea costa viața.”
Probleme în detectarea ideilor suicidare
Studiul a evidențiat și dificultăți ale platformei în identificarea ideilor suicidare. Cercetătorii au constatat că ChatGPT Health a reacționat diferit în funcție de informațiile suplimentare furnizate. Când un pacient menționa gânduri suicidare fără alte detalii, sistemul afișa un mesaj de intervenție în criză. Schimbarea unor detalii, precum rezultate normale de laborator, a dus la dispariția acestui mesaj, ceea ce ridică semne de întrebare cu privire la fiabilitatea sistemului.
Dr. Ashwin Ramaswamy, autorul principal al studiului, a menționat că modul în care platforma a reacționat la ideile suicidare l-a îngrijorat în mod deosebit. El a explicat că „un mecanism de siguranță care depinde de faptul că ai menționat sau nu analizele nu este pregătit pentru utilizare și este, probabil, mai periculos decât absența lui, pentru că nimeni nu poate prezice când va eșua.”
Reacția OpenAI și implicații legale
Un purtător de cuvânt al OpenAI a declarat că deși compania apreciază cercetările independente, studiul nu ar reflecta modul în care utilizatorii interacționează cu ChatGPT Health în viața reală. El a adăugat că modelul este îmbunătățit constant. În același timp, profesorul Paul Henman, expert în politici publice, a subliniat importanța studiului, adăugând că utilizarea ChatGPT Health de către utilizatori ar putea genera mai multe prezentări medicale inutile și ar putea conduce la întârzieri în căutarea îngrijirilor urgente, cu potențiale consecințe grave.
În prezent, există deja procese împotriva unor companii de tehnologie legate de cazuri de suicid și automutilare după utilizarea chatbot-urilor AI, ceea ce aduce în discuție și responsabilitatea legală.
