Izraelski startup QED Science ogłosił ranking „The 1 Percent" – listę najlepszych prac naukowych z dziedziny nauk biologicznych, wyłonionych przez sztuczną inteligencję. System analizuje dziesiątki tysięcy preprintów i przyznaje im QED Score. Środowisko naukowe jest podzielone: jedni widzą w tym ratunek dla przeciążonego systemu recenzji, inni ostrzegają przed czarną skrzynką, która ocenia naukę bez możliwości niezależnej weryfikacji.
Izraelski startup QED Science ogłosił, że jego sztuczna inteligencja potrafi ocenić jakość pracy naukowej szybciej niż tradycyjny system recenzji. Firma nazwała swój ranking „The 1 Percent” i wskazała najlepsze prace z dziedziny nauk biologicznych i o życiu z ostatniego roku. Efekt? Środowisko naukowe podzieliło się na entuzjastów i sceptyków. Poniższy artykuł omawia inicjatywę opisaną przez t3n, warto czytać go z tą perspektywą czasową.
Najważniejsze:
- QED Science przebadało ponad 57 tysięcy prac (tzw. preprintów) z platformy bioRxiv opublikowanych między majem 2025 a kwietniem 2026 roku.
- Spośród nich określona liczba trafiła do 99. percentyla, co firma uznaje za dowód działania swojego systemu, choć wynik ten to matematyczna konsekwencja definicji percentyla, a nie osobne odkrycie.
- System QED Score korzysta z wielu wyspecjalizowanych agentów AI, którzy analizują różne elementy pracy: od wykresów po statystykę.
- Naukowcy krytykują brak przejrzystości algorytmu oraz sprowadzanie jakości badań do jednej liczby.
Peer review ma problem, i wszyscy o tym wiedzą
Zanim praca naukowa trafi do prestiżowego czasopisma, na przykład Nature, musi przejść tzw. peer review, czyli niezależną recenzję ekspertów z danej dziedziny. Ten system jest fundamentem nauki, ale pęka pod własnym ciężarem. Liczba publikacji rośnie szybciej niż liczba dostępnych recenzentów, którzy zwykle pracują bez wynagrodzenia. Proces bywa powolny, czasem trwa latami, a wyniki badań mogą się w tym czasie zdezaktualizować. System oparty wyłącznie na ludziach nie jest też wolny od stronniczości, konfliktów interesów czy zwykłej niechęci między badaczami.
To nie jest nowy problem, ale dotąd brakowało alternatywy, która nie byłaby gorsza od oryginału. QED Science twierdzi, że znalazło alternatywę. Pytanie, czy słusznie.
Jak działa system oceny prac naukowych przez AI
QED Science z Tel Awiwu stworzyło narzędzie nazwane Science Validity Engine, które ma automatyzować część procesu oceny. Każda analizowana praca jest najpierw anonimizowana, a potem trafia do kilku wyspecjalizowanych agentów AI. Jeden szuka nieścisłości na wykresach i w ilustracjach, inny sprawdza, czy wnioski nie kłócą się z istniejącą literaturą naukową, a jeszcze inny weryfikuje poprawność obliczeń statystycznych.
Na końcu wyniki wszystkich agentów zbiera i weryfikuje kolejna AI, która przyznaje pracy dwie oceny cząstkowe: za oryginalność (jak innowacyjna jest metoda i jej zastosowanie) oraz za trafność (jak dokładne są obliczenia i procedury). Po odpowiednim zważeniu tych ocen powstaje ostateczny QED Score, wyrażony jako pozycja procentowa względem innych prac w bazie porównawczej. Wynik 80 oznacza, że dana praca wypada lepiej niż 80 procent porównywanych publikacji.
Brzmi przekonująco, ale tu zaczyna się problem. Wielowarstwowa architektura wielu agentów może sprawiać wrażenie rygorystyczności. W praktyce jednak złożoność systemu może równie dobrze zaciemniać, a nie zwiększać jego wiarygodność, jeśli żaden z etapów nie jest dostępny do niezależnej weryfikacji.
Co pokazał test na tysiącach prac
Do testu wybrano prace z dziedziny nauk biologicznych i o życiu opublikowane na platformie bioRxiv. Warto wiedzieć, że bioRxiv to serwis gromadzący właśnie preprints, wersje robocze prac udostępnione publicznie jeszcze przed formalną recenzją. Oznacza to, że analizowany materiał to publikacje, które nie przeszły jeszcze pełnej weryfikacji eksperckiej.
| Parametr | Wartość | Co to oznacza? |
|---|---|---|
| Liczba przeanalizowanych preprintów | 57 455 | Duża próba, ale złożona wyłącznie z prac nierecenzowanych |
| Prace w 99. percentylu („The 1 Percent”) | 574 | Z definicji zawsze będzie to ok. 1%, nie jest to odkrycie, lecz konsekwencja metody |
| Okres publikacji analizowanych prac | maj 2025, kwiecień 2026 | Przekrojowy rok, ale tylko jedna platforma i jeden obszar nauki |
QED Science porównało też swoje wyniki z ocenami ludzkich recenzentów oraz innymi metodami porównawczymi, żeby sprawdzić, czy AI dochodzi do podobnych wniosków co eksperci. Firma twierdzi, że zbieżność jest zadowalająca, ale te badania porównawcze przeprowadziła sama firma, co jest istotnym zastrzeżeniem przy ocenie ich wiarygodności.
Dlaczego naukowcy krytykują ranking, i czy mają rację?
Krytyka środowiska naukowego idzie w dwóch kierunkach i warto przyjrzeć się im osobno, bo nie są równoważne.
Pierwszy zarzut dotyczy samej idei sprowadzenia jakości badania do jednej liczby. Krytycy zwracają uwagę, że QED Score sugeruje liniową hierarchię prac, mimo że nauka rzadko funkcjonuje w takich kategoriach. Praca metodycznie skromna, ale odpowiadająca na ważne pytanie lokalne, może być wartościowsza niż efektowne badanie z błędem w założeniach. Ten zarzut jest uzasadniony, każdy ranking upraszcza, a uproszczenie może wyrządzić szkodę tam, gdzie chodzi o alokację grantów czy reputację badaczy.
Niv Mastboim, współzałożyciel QED Science, odpowiedział na te zarzuty w rozmowie z Nature. Jak przekazał, celem było ocenianie prac wyłącznie na podstawie samej pracy, a nie renomy czasopisma czy nazwiska autora. Zaznaczył też, że badacze spoza najlepszego jednego procenta wciąż mogą prowadzić świetne badania, a narzędzie ma pomagać w odkrywaniu wartościowych prac, które nie zyskały należytej uwagi. To argument godny uwagi, obecny system też nie jest wolny od uprzedzeń, faworyzując uznane nazwiska i instytucje.
Drugi zarzut jest jednak poważniejszy: brak przejrzystości algorytmu. Ran Blekhman napisał w swoim wpisie, że firma opisuje architekturę wielu agentów AI, ale sama implementacja nie jest dostępna do wglądu, odtworzenia ani krytyki. Szczegóły implementacji nie są jawne na tyle, by ktoś z zewnątrz mógł niezależnie zweryfikować wynik.
To jest sedno problemu. Przejrzystość w nauce nie jest formalizmem, to mechanizm, który pozwala wykryć błędy, uprzedzenia i manipulacje. Jeśli nie wiadomo, jak dokładnie AI trenowano, jakie dane były podstawą jej osądów i jak ważono poszczególne kryteria, wynik QED Score jest tak samo nieweryfikowalny jak opinia anonimowego recenzenta. Tyle że anonimowy recenzent przynajmniej jest człowiekiem z tytułem i odpowiedzialnością zawodową.
Podobne zastrzeżenia zgłasza Sina Booeshaghi, biolog z Uniwersytetu Kalifornijskiego. Jego zdaniem własne badania porównawcze QED Science są niespójne: firma zestawia QED Score z rankingami czasopism naukowych, jednocześnie twierdząc, że te same rankingi są niewystarczające. Wątpliwości budzi też obietnica, że anonimizacja prac eliminuje ludzkie uprzedzenia, bo sama AI mogła zostać wytrenowana na danych, które te uprzedzenia odwzorowują.
Czy jest wyjście pośrodku?
Debata wokół QED Science ujawnia napięcie, które nie zniknie samo. Tradycyjny peer review jest powolny, kosztowny i niedoskonały. Automatyzacja oparta na AI może te wady częściowo zniwelować, ale tylko jeśli spełni standardy przejrzystości, których sama nauka wymaga od publikowanych badań. Narzędzie, które ocenia metodologię innych, a samo działa jako czarna skrzynka, ma poważny problem wiarygodności.
Rozwiązaniem pośrednim mogłoby być wykorzystanie AI jako etapu wstępnego, do szybkiej selekcji i flagowania potencjalnych problemów, przy zachowaniu ludzkiej recenzji jako ostatecznej instancji. Taki model nie eliminuje kosztu recenzji, ale mógłby ją przyspieszyć i skierować uwagę ekspertów tam, gdzie jest najbardziej potrzebna. QED Science nie proponuje wprost takiego rozwiązania, ale jego narzędzie mogłoby w takim modelu znaleźć swoje miejsce, pod warunkiem otwarcia algorytmu na niezależną weryfikację.
Najczęściej zadawane pytania
Czym jest QED Science?
To izraelski startup z Tel Awiwu, który stworzył narzędzie o nazwie Science Validity Engine do oceny jakości prac naukowych za pomocą sztucznej inteligencji. Firma oferuje swoje narzędzie m.in. uniwersytetom i przedsiębiorstwom, które chcą weryfikować prace przed ich publikacją.
Jak powstaje QED Score?
Praca naukowa jest anonimizowana, a następnie analizowana przez kilku wyspecjalizowanych agentów AI sprawdzających m.in. wykresy, statystykę i zgodność z literaturą. Wyniki są weryfikowane przez kolejną AI i przeliczane na pozycję procentową względem innych prac w bazie porównawczej.
Ile prac zostało uznanych za najlepszy 1 procent prac?
Z ponad 57 tysięcy przeanalizowanych preprintów z platformy bioRxiv, opublikowanych między majem 2025 a kwietniem 2026, do 99. percentyla trafiła określona liczba prac. Taki wynik jest matematyczną konsekwencją samej definicji percentyla, zawsze około 1% prac znajdzie się w najwyższym percentylu.
Co krytykują naukowcy w tej metodzie?
Głównie brak przejrzystości algorytmu, wagi, polecenia dla modeli i sposób trenowania agentów AI nie są publicznie dostępne. Krytycy wskazują też na niespójności w badaniach porównawczych przeprowadzonych przez samą firmę oraz na ryzyko, że sprowadzanie jakości badania do jednej liczby może wyrządzić szkodę badaczom, którzy nie trafią do czołowego percentyla.
Czy AI może zastąpić recenzentów naukowych?
Na podstawie dostępnych informacji: nie w pełni i nie bez zastrzeżeń. Narzędzia AI mogą przyspieszać wstępną selekcję prac, ale dopóki algorytmy oceniające nie są otwarte na niezależną weryfikację, trudno traktować ich wyniki jako równoważne ocenie eksperckiej. Przejrzystość metody to w nauce warunek konieczny zaufania, i dotyczy to także narzędzi, które same oceniają naukę.
Fot. Lollixzc, Maciej Nux / Wikimedia Commons (CC BY-SA 4.0)
Komentarze (0)