Sztuczna inteligencja miała zrewolucjonizować pracę w szpitalach, pomagając lekarzom poprzez automatyzację dokumentacji i transkrypcję rozmów z pacjentami. W tym celu opracowano model OpenAI Whisper, który konwertuje mowę na tekst i jest stosowany w różnych aplikacjach. Jedną z nich jest system Nabla, wykorzystywany w placówkach medycznych. Pomimo obietnicy oszczędzania czasu i usprawniania pracy, Whisper wykazuje skłonność do „halucynacji” – wymyślania fikcyjnych faktów, co wywołuje poważne obawy dotyczące jego wiarygodności w sektorze zdrowia.
Whisper, choć mniej popularny niż ChatGPT, jest narzędziem cenionym w branżach, gdzie konieczna jest dokładna transkrypcja mowy, takich jak medycyna czy usługi telefoniczne. Niestety, wielu użytkowników nie zdaje sobie sprawy, że model ten nie jest niezawodny i często dodaje nieprawdziwe informacje do transkrypcji. Przykłady halucynacji obejmują wymyślone komentarze rasistowskie czy opis zabiegów, które nigdy nie miały miejsca. W medycynie takie błędy mogą być nie tylko kłopotliwe, ale również niebezpieczne dla pacjentów i lekarzy.
Kłamie o zabiegach, lekach i chorobach
Według raportu Associated Press, użytkownicy Whispera dostrzegli, że model ten wykazuje tendencję do dodawania informacji, które nie zostały wypowiedziane. Profesor Allison Koenecke z Uniwersytetu Cornell, badająca przypadki halucynacji w Whisperze, zauważyła, że model może na przykład w transkrypcji nagrań medycznych tworzyć fałszywe informacje o rzekomo przepisanych lekach. W innych przypadkach pojawiały się niespodziewane dodatki, takie jak frazy typowe dla Youtuberów czy nawet linki do fikcyjnych stron internetowych.
W miarę wzrostu liczby użytkowników Whispera w szpitalach i innych instytucjach ryzyko związane z błędami modelu AI staje się coraz bardziej widoczne. System Nabla, wspierający lekarzy podczas wizyt, według twórców pozwala na znaczące ograniczenie czasu spędzanego na tworzeniu dokumentacji medycznej. Jednak eksperci ostrzegają, że problemy z halucynacjami są trudne do monitorowania, gdyż nagrania audio są usuwane zaraz po dokonaniu transkrypcji, co uniemożliwia późniejsze weryfikowanie ich treści.
Według byłego pracownika OpenAI, Williama Saundersa, problem ten można rozwiązać, o ile priorytetem stanie się redukcja halucynacji w modelach AI. Rzecznik OpenAI zapewnia, że firma pracuje nad rozwiązaniem problemów, uwzględniając opinie naukowców i programistów. Zbyt duża pewność w niezawodność Whispera bez dokładnych badań nad jego dokładnością może prowadzić do poważnych konsekwencji, zwłaszcza gdy transkrypcje z jego udziałem staną się częścią opieki zdrowotnej.
Komentarze (0)