Model GPT-4 trafnie przewidywał kierunek wyników dziesiątek amerykańskich eksperymentów ankietowych, osiągając dokładność porównywalną z ludzką intuicją. Jest jednak poważne zastrzeżenie: AI systematycznie zawyżała siłę efektów nawet dwukrotnie, co może wprowadzić badacza w błąd przy planowaniu realnego eksperymentu. Eksperci widzą w tym narzędzie pomocnicze – nie zamiennik badań na prawdziwych ludziach.
Model GPT-4 trafnie przewidywał kierunek wyników dziesiątek amerykańskich eksperymentów ankietowych, osiągając dokładność porównywalną z ludzką intuicją. To brzmi obiecująco, ale diabeł tkwi w szczegółach. AI systematycznie zawyżała siłę efektów, co może poważnie wprowadzić badacza w błąd przy planowaniu realnego eksperymentu.
Najważniejsze:
- GPT-4 silnie korelował z rzeczywistymi wynikami 70 amerykańskich eksperymentów ankietowych, ale przyjmował efekty mniej więcej dwukrotnie silniejsze niż w rzeczywistości.
- Najlepsze rezultaty dało połączenie prognoz AI z ludzką oceną, ani sama maszyna, ani sam człowiek nie osiągał tak dobrego wyniku.
- AI może przyspieszyć pilotażowe testowanie hipotez i pomóc ocenić, czy warto powtarzać badanie z większą grupą, ale nie zastępuje eksperymentów na prawdziwych ludziach.
- Eksperci ostrzegają przed nadmiernym poleganiem na modelach językowych kosztem badań z udziałem rzeczywistych uczestników.
Dlaczego to pytanie w ogóle padło?
Eksperymenty w naukach społecznych są kosztowne, czasochłonne, a niekiedy niemożliwe z powodów etycznych, na przykład gdy bada się skutki dezinformacji. Naukowcy od lat szukają sposobu na skrócenie drogi od pomysłu do weryfikacji. Duże modele językowe, czyli programy AI typu ChatGPT trenowane na ogromnych zbiorach tekstów, jawią się jako kuszący skrót: zamiast rekrutować setki uczestników, można zapytać model, jak by zareagowali.
Czytaj także: Sztuczna inteligencja napędza globalny przemysł oszustw. Co wiemy z raportu AP News?
Wcześniejsze badania pokazały już, że modele językowe potrafią w miarę wiarygodnie symulować odpowiedzi ankietowe różnych grup społecznych. Otwarte pozostawało jednak pytanie bardziej wymagające: czy AI przewidzi nie tylko to, co ludzie myślą, ale też jak zmienią swoje poglądy lub zachowanie pod wpływem konkretnej interwencji? Właśnie to sprawdził zespół pod kierunkiem Ashwini Ashokkumar z Uniwersytetu Harvarda, a wyniki opublikował w czasopiśmie Nature.
Co i jak badano?
Zespół z Harvardu przeanalizował 70 reprezentatywnych amerykańskich eksperymentów ankietowych obejmujących łącznie 469 efektów eksperymentalnych i dane od ponad 119 000 uczestników. Wśród badanych tematów znalazły się między innymi wpływ tekstów informacyjnych na stosunek do szczepień przeciw COVID-19 i do ochrony klimatu, a także próby zachęcenia ludzi do aktywności fizycznej lub udziału w wyborach.
Czytaj także: Pochlebstwa AI. Badacze z MIT ostrzegają przed „spiralą urojeń” w którą wpycha ChatGPT
GPT-4 otrzymywał opis projektu badania, treść interwencji oraz skale odpowiedzi, a następnie miał przewidzieć reakcje osób o różnym profilu, różniących się wiekiem, wykształceniem, pochodzeniem etnicznym, płcią, preferencjami politycznymi i światopoglądem. Na tej podstawie badacze wyliczali spodziewane efekty i porównywali je z prawdziwymi wynikami.
Wynik: obiecujący, ale z poważnym zastrzeżeniem
Prognozy GPT-4 silnie korelowały z rzeczywistymi efektami eksperymentów, a dokładność modelu okazała się zbliżona do trafności zwykłych ludzi proszonych o oszacowanie tych samych wyników. Zależność ta utrzymywała się również dla badań, których GPT-4 nie mógł znać z materiałów treningowych. Jak piszą sami autorzy, „duże modele językowe oferują znaczącą wartość dodaną przy prognozowaniu dotąd nieznanych wyników eksperymentalnych”.
Czytaj także: Dzieci na całym świecie pytają chatboty o zadania domowe i osobiste problemy. Unicef ostrzega przed luką w ochronie
Tu jednak pojawia się kluczowe zastrzeżenie, które artykuł źródłowy podaje wprost: GPT-4 systematycznie zawyżał siłę efektów, przyjmował je mniej więcej dwukrotnie wyższe niż w rzeczywistości. Dla naukowca planującego badanie na podstawie takiej prognozy oznacza to konkretne ryzyko: może znacząco niedoszacować potrzebnej wielkości próby, bo spodziewa się silniejszego efektu niż ten, który faktycznie wystąpi. Niedostatecznie duża próba to zaś wyniki, których nie da się uznać za statystycznie wiarygodne, stracony czas i pieniądze. Pamiętać, że trafność modelu spadała przy dużych eksperymentach terenowych, które nie polegały wyłącznie na tekście, choć, jak zastrzegają badacze, podobny problem mieli również ludzie oceniający te same eksperymenty.
Gdzie AI naprawdę może pomóc?
Mimo tej słabości autorzy badania wskazują trzy konkretne scenariusze, w których modele językowe mogą realnie wesprzeć naukę:
- Pilotaże przed pełnym badaniem. AI daje tanie narzędzie do szybkiego sprawdzenia, czy dany pomysł w ogóle warto rozwijać, zanim poniesie się koszty pełnego eksperymentu. Najbardziej obiecujące hipotezy można potem zweryfikować na prawdziwych ludziach.
- Ocena, czy warto replikować. Gdy wynik pierwotnego badania nie był statystycznie istotny z powodu zbyt małej próby, prognoza AI może podpowiedzieć, czy powtórzenie eksperymentu z większą grupą uczestników ma sens.
- Obszary ograniczone etycznie. Tam, gdzie eksperymenty z udziałem prawdziwych ludzi są utrudnione, na przykład przy badaniu skutków dezinformacji, modele językowe mogą dostarczyć wstępnych wskazówek.
We wszystkich tych przypadkach autorzy podkreślają, że „największe korzyści wynikają z łączenia prognoz modeli językowych z istniejącymi podejściami, co podkreśla ich rolę jako narzędzi uzupełniających, a nie zastępstwa dla ludzkich prób”.
Głos zewnętrznych ekspertów
David Garcia z Uniwersytetu Konstancji, który nie brał udziału w badaniu, ocenia wyniki pozytywnie i uważa, że staną się podstawą użytecznych zastosowań w badaniach społecznych, na przykład przy analizie skuteczności działań lub projektowaniu interwencji. Jego zdaniem największym ryzykiem jest sytuacja, w której naukowcy zaczną zbyt mocno polegać na AI zamiast traktować ją jako pomoc przy prawdziwych eksperymentach i ankietach. Spodziewa się jednak, że nie zabraknie krytycznych głosów przypominających, że uwzględnianie prawdziwych ludzi w takich badaniach ma fundamentalne znaczenie.
Najczęściej zadawane pytania
Czy zawyżanie efektów przez AI to poważny problem dla badaczy?
Tak i to jest jedno z najważniejszych praktycznych ostrzeżeń płynących z tego badania. Jeśli naukowiec planuje eksperyment wyłącznie na podstawie prognozy AI i spodziewa się dwukrotnie silniejszego efektu niż ten, który faktycznie wystąpi, może zebrać zbyt małą próbę uczestników. Zbyt mała próba oznacza wyniki statystycznie niewiarygodne i konieczność powtórzenia badania, albo jego zaniechania. Dlatego autorzy zalecają łączenie prognoz AI z ludzką oceną, a nie zastępowanie jednej drugą.
Czy AI może już dziś zastąpić eksperymenty na ludziach w naukach społecznych?
Nie, i to jest jednoznaczna konkluzja zarówno autorów badania, jak i komentujących ekspertów. Modele językowe sprawdziły się jako narzędzie pomocnicze przy planowaniu badań i wstępnej selekcji hipotez, ale ich prognozy dotyczą wzorców widocznych w dużych grupach, a nie zachowania konkretnych osób w realnym kontekście. Badania z udziałem prawdziwych ludzi pozostają niezbędne.
Fot. Lollixzc, Maciej Nux / Wikimedia Commons (CC BY-SA 4.0)
Komentarze (0)