W odpowiedzi na tę potrzebę powstał Projekt FrontierMath, w którym opracowano ekstremalnie trudny egzamin matematyczny służący do oceny zaawansowanych modeli AI. W pracach nad nim uczestniczył dr Bartosz Naskręcki z Uniwersytetu im. Adama Mickiewicza, co dodaje polskiego akcentu tej międzynarodowej inicjatywie.
Trzydziestu ekspertów z różnych zakątków świata spotkało się na dwudniowe warsztaty w Berkeley. Podzieleni na grupy tematyczne – teorię liczb, topologię, kombinatorykę, analizę matematyczną i geometrię algebraiczną – pracowali nad stworzeniem zadań wykraczających poza obecne możliwości nawet najbardziej zaawansowanych systemów.
Proces tworzenia tych matematycznych łamigłówek był niezwykle staranny. Fragmenty zadań testowano incognito na najpotężniejszych modelach AI, aby uniemożliwić im zapamiętywanie rozwiązań. Wielo propozycji odrzucono, gdy okazywało się, że algorytmy zbyt szybko znajdują poprawne odpowiedzi.
Dr Naskręcki odpowiadał za przygotowanie najtrudniejszego poziomu oznaczonego jako Tier 4. To właśnie tam znalazło się jego zadanie, które stało się prawdziwym wyzwaniem dla maszyn. Matematyk wykorzystał całą swoją wiedzę zdobytą podczas lat studiów i pracy naukowej, aby stworzyć coś naprawdę wymagającego.
Rozwiązanie jednego z problemów opracowanych przez polskiego naukowca zajęło aż 13 stron gęstego tekstu matematycznego. To niemal gotowa praca naukowa – kompletne, udokumentowane rozwiązanie problemu, który mógłby stanowić temat osobnej publikacji.
Skala trudności jest imponująca. Ekspert z doktoratem w danej dziedzinie potrzebowałby co najmniej miesiąca, aby choćby zorientować się, jak podejść do takiego problemu. Dr Naskręcki nie ma wątpliwości – żaden matematyk na świecie nie rozwiązałby wszystkich 50 problemów z tego zestawu.
Obecne wyniki AI są dość wymowne. Najlepsze modele radzą sobie z jedynie 4 z 50 problemów na najtrudniejszym poziomie. To pokazuje, jak daleka droga dzieli obecne systemy od prawdziwie zaawansowanego rozumowania matematycznego.
Testy przeprowadzane są w ściśle kontrolowanych warunkach. Każdy model ma limit trzech godzin na rozwiązanie pojedynczego problemu i może wykorzystać do miliona tokenów – podstawowych jednostek tekstu, z których AI buduje swoje rozumienie.
Według prognoz dr. Naskręckiego, za 2-3 lata sztuczna inteligencja będzie w stanie poradzić sobie z większością pytań z tego benchmarku. Wtedy będziemy mogli mówić o modelu, który naprawdę nieźle rozumie matematykę.
Nawet wtedy AI będzie miała zasadnicze ograniczenie. Maszyny są znakomite w łączeniu istniejącej wiedzy i szukaniu skomplikowanych kombinacji, ale nie potrafią tworzyć zupełnie nowych koncepcji. Żaden obecny model nie wpadnie samodzielnie na pomysł, jak udowodnić hipotezę Riemanna czy inne wielkie problemy matematyczne.
To zmusza nas do przemyślenia naszego podejścia do edukacji i pracy. Rozwój AI wymusza odejście od pruskiego modelu szkoły, który kształtował posłusznych wykonawców poleceń. Potrzebujemy ludzi zdolnych do samodzielnego myślenia, podejmowania ryzyka i tworzenia czegoś nowego.
Kluczowa staje się płynna inteligencja – zdolność do kreatywnego rozwiązywania problemów. Równie ważne jest myślenie wolne, a nie jedynie szybkie. Tych umiejętności maszyny wciąż nie posiadają.
Matematyka wraca do swoich korzeni – będzie polegać na stawianiu odważnych pytań i proponowaniu nieoczywistych rozwiązań. To już nie będzie jedynie dopisywanie drobiazgów do istniejących teorii.
Czytaj też: Polski startup z laserami femtosekundowymi zdobywa światowe rynki
Naszą przewagą nad AI pozostają unikalne doświadczenia – spacer, przeczytana książka, obejrzane przedstawienie. To z połączeń między nieoczywistymi dziedzinami rodzą się pomysły niedostępne dla sztucznej inteligencji. W nowej rzeczywistości naszą największą wartością będzie zdolność do zadawania pytań i generowania oryginalnych koncepcji, a nie poprawne wykonywanie rutynowych zadań.