Naukowcy są strukturalnie zmuszeni do korzystania z narzędzi AI, których działania sami nie potrafią wyjaśnić – bo nie mają środków na alternatywy. Międzynarodowy zespół pod kierunkiem Ivana Jaricia ostrzega w BioScience, że czarne skrzynki algorytmów mogą podważyć fundamenty rzetelnej nauki i utrudnić weryfikację wyników w medycynie, klimatologii i polityce publicznej.
Międzynarodowy zespół badaczy pod kierunkiem Ivana Jaricia z Uniwersytetu Paris-Saclay opublikował w czasopiśmie BioScience ostrzeżenie, które powinno zaniepokoić każdego, kto kiedykolwiek czytał wyniki badań naukowych opartych na sztucznej inteligencji. Naukowcy są coraz częściej strukturalnie zmuszeni do korzystania z narzędzi, których działania sami nie potrafią wyjaśnić. To nie wybór, to zależność, i może podważyć fundamenty rzetelnej nauki.
Najważniejsze:
- Naukowcy coraz częściej korzystają z narzędzi AI i danych, których sami nie są w stanie w pełni zrozumieć ani sprawdzić, i nie zawsze dzieje się to z ich własnej woli.
- Prywatne firmy technologiczne celowo ograniczają dostęp do informacji o działaniu swoich systemów, powołując się na prawa autorskie i cele komercyjne.
- Uczelnie i instytuty publiczne wpadają w strukturalną zależność od technologicznych gigantów, bo nie mają środków ani mocy obliczeniowej, by budować własne przejrzyste modele.
- Problem dotyka nie tylko wyników generowanych przez AI, ale też danych treningowych i algorytmów, naukowcy często nie mają wglądu w żaden z tych elementów.
- Badacze proponują konkretne działania: oprogramowanie open source, dokumentowanie parametrów narzędzi i porównywanie wyników z jawnymi zbiorami danych.
Zmuszeni, nie tylko skuszeni, strukturalna zależność nauki od Big Tech
Kiedy badacz sięga po narzędzie AI od Google, Microsoft czy OpenAI, nie zawsze robi to z entuzjazmu wobec nowych technologii. Często robi to, bo nie ma wyboru. Autorzy badania wprost wskazują, że uniwersytetom i publicznym instytutom brakuje środków finansowych i mocy obliczeniowej, by tworzyć własne, w pełni przejrzyste modele o porównywalnej skali. W efekcie nauka, instytucja z zasady niezależna i krytyczna, wpada w zależność od podmiotów, nad którymi nie sprawuje żadnej kontroli i które nie mają obowiązku jej tłumaczyć się z działania swoich systemów.
To ważne rozróżnienie, które umyka w debacie o AI w nauce: problemem nie jest tylko to, że algorytmy są skomplikowane. Problemem jest to, że decyzja o stopniu ich przejrzystości leży po stronie działów prawnych i zarządów firm technologicznych, a nie środowiska naukowego. Jarić, główny autor badania, podkreśla, że prywatne firmy świadomie ograniczają dostęp do informacji o tym, jak ich systemy działają i przetwarzają dane, kierując się ograniczeniami wynikającymi z praw autorskich oraz celami komercyjnymi.
Co to znaczy dla kogoś, kto czyta wyniki badań
Wyobraź sobie, że lekarz przepisuje leczenie oparte na wynikach badania, w którym algorytm przeanalizował dane tysięcy pacjentów i wskazał wzorzec. Brzmi przekonująco. Ale jeśli ani autorzy badania, ani recenzenci, ani sam lekarz nie wiedzą, jaką drogą algorytm doszedł do tego wzorca, na czym właściwie opiera się ta decyzja kliniczna? Analogiczne pytania dotyczą klimatologii, polityki środowiskowej czy decyzji regulacyjnych opartych na analizach satelitarnych.
Sprawdzalność, przejrzystość i powtarzalność wyników to nie akademickie fanaberie, to mechanizmy, które pozwalają odróżnić wiedzę od błędu. Zespół Jaricia, łączący ekspertów z ekologii, nauk środowiskowych i teledetekcji, pokazuje, że te mechanizmy są dziś systematycznie osłabiane. Nie przez złą wolę naukowców, lecz przez architekturę rynku narzędzi badawczych.
Czarna skrzynka ma wiele warstw
Problem nie sprowadza się wyłącznie do tego, że wyniki są trudne do zinterpretowania. Naukowcy często nie mają wglądu ani w dane, na których dany system był trenowany, ani w leżące u jego podstaw algorytmy. Jarić podkreśla, że wiele z tych narzędzi to prawdziwe czarne skrzynki, bo w dużej mierze ukrywają procesy stojące za uzyskiwanymi wynikami. Innymi słowy: badacz dostaje odpowiedź, ale nie wie, jaką drogą do niej doszło.
Im potężniejsza i bardziej autonomiczna staje się sztuczna inteligencja, tym trudniej zweryfikować i zinterpretować wyniki naukowe, do których prowadzi. A jak zauważa Karen Anderson z Uniwersytetu Exeter, współautorka badania, sytuacja nie wynika wyłącznie z komercyjnych decyzji firm. Współczesne narzędzia naukowe stają się na tyle technicznie skomplikowane, że nawet ich twórcom, nie tylko użytkownikom, bywa trudno w pełni zrozumieć, jak dokładnie działają.
Problem nie dotyczy zresztą wyłącznie AI. Systemy teledetekcji używane do analizy zdjęć satelitarnych również często bazują na zastrzeżonych metodach przetwarzania, bez pełnego dostępu dla środowiska naukowego. Niektóre urządzenia do lokalizacji dzikich zwierząt udostępniają jedynie przetworzone dane o pozycji zwierzęcia, zatrzymując dla siebie surowe dane źródłowe.
Co proponują badacze, i dlaczego to trudne do wdrożenia
Autorzy nie poprzestają na diagnozie. Proponują konkretne działania, które mogą ograniczyć skalę problemu, choć żadne z nich nie jest proste do realizacji w warunkach obecnej struktury finansowania nauki.
| Problem | Proponowane rozwiązanie |
|---|---|
| Zamknięte, komercyjne narzędzia AI | Korzystanie z oprogramowania i sprzętu open source, gdy tylko jest to możliwe |
| Brak możliwości weryfikacji wyników | Porównywanie zbiorów danych i wyników z jawnymi, publicznymi danymi lub sprawdzanie ich różnymi metodami |
| Nieznane parametry i ograniczenia narzędzi | Dokumentowanie danych treningowych, wersji, ustawień i ograniczeń stosowanych narzędzi |
Każde z tych zaleceń napotyka na tę samą barierę: brak zasobów. Oprogramowanie open source wymaga kompetencji i infrastruktury. Dokumentowanie parametrów narzędzi jest niemożliwe, gdy firma nie udostępnia tych informacji. Rekomendacje są słuszne, ale ich skuteczność zależy od zmian systemowych, nie tylko od dobrej woli pojedynczych badaczy.
Kto odpowiada za błędy algorytmu
Michael Bertram ze Szwedzkiego Uniwersytetu Nauk Rolniczych i Uniwersytetu Sztokholmskiego, kolejny współautor badania, wskazuje na kwestię odpowiedzialności, którą łatwo przeoczyć w dyskusji o narzędziach. Ludzka kontrola powinna pozostać w centrum całego procesu badawczego, bo to autorzy publikacji, nie twórcy narzędzi AI, ponoszą konsekwencje błędów i niepewności wynikających z zastosowania czarnoskrzynkowych systemów w ich pracy.
Bertram dodaje, że potrzebne jest intensywniejsze wsparcie dla otwartej nauki, w tym przepisy poprawiające dostęp badaczy do platform cyfrowych i danych, na których te platformy się opierają. Innymi słowy: problem wymaga odpowiedzi regulacyjnej, a nie tylko metodologicznej.
Najczęściej zadawane pytania
Co oznacza pojęcie czarnej skrzynki w kontekście AI w nauce?
To narzędzia sztucznej inteligencji, które przetwarzają dane i generują wyniki w sposób niejasny nawet dla naukowców z nich korzystających, ponieważ procesy stojące za tymi wynikami pozostają ukryte, zarówno z powodu decyzji biznesowych firm, jak i rosnącej złożoności technicznej samych systemów.
Kto przeprowadził badanie na temat czarnych skrzynek AI w nauce?
Badanie opublikował w czasopiśmie BioScience międzynarodowy zespół pod kierunkiem Ivana Jaricia z Uniwersytetu Paris-Saclay, we współpracy między innymi z Karen Anderson z Uniwersytetu Exeter i Michaelem Bertramem ze Szwedzkiego Uniwersytetu Nauk Rolniczych i Uniwersytetu Sztokholmskiego.
Dlaczego naukowcy nie mają dostępu do działania narzędzi AI, których używają?
Z dwóch powodów. Po pierwsze, prywatne firmy oferujące te narzędzia świadomie ograniczają dostęp do informacji o ich funkcjonowaniu, powołując się na ochronę praw autorskich i własne cele komercyjne. Po drugie, narzędzia stają się tak technicznie złożone, że nawet ich twórcy nie są w stanie w pełni wyjaśnić ich działania.
Jakie rozwiązania proponują badacze?
Rekomendują korzystanie z oprogramowania open source, porównywanie wyników z jawnymi publicznymi danymi oraz dokładne dokumentowanie danych treningowych, wersji i ograniczeń stosowanych narzędzi. Postulują też zmiany regulacyjne poprawiające dostęp badaczy do platform cyfrowych i danych, na których te platformy się opierają.
Czy to oznacza, że wyniki badań opartych na AI są niewiarygodne?
Nie automatycznie, ale ich pełna weryfikacja jest trudniejsza niż w przypadku badań, które można odtworzyć krok po kroku. Autorzy badania podkreślają, że naukowcy powinni zdawać sobie sprawę zarówno z zalet, jak i wad korzystania z takich narzędzi, i nie przyjmować bezkrytycznie danych ani wyników bez próby ich sprawdzenia.
Materiał przygotowany z wykorzystaniem narzędzi sztucznej inteligencji.
Źródło: Wikimedia Commons (wolna licencja)
Komentarze (0)