Na tyle małe, że do ich zasilania mogłaby energia pochodząca z baterii w smartfonie. Obecnie jest to natomiast całkiem droga zabawa. Wystarczy wspomnieć, iż firma OpenAI na rzecz szkolenia swojej sieci neuronowej GPT-3 wydała 4,6 miliona dolarów. Dzięki temu udało się uruchomić 9200 jednostek GPU przez dwa tygodnie.
W praktyce oznacza to zużycie energii, której wyprodukowanie doprowadziło do emisji porównywalnych do używania przez taki sam okres 1300 samochodów. Mówimy więc o ogromnych ilościach zanieczyszczeń. Coraz bardziej oczywisty staje się więc fakt, iż naukowcy powinni skupić się na obniżeniu zapotrzebowania energetycznego, o czym z resztą piszą na łamach Nature.
W sieci neuronowej zachodzi wielokrotne dostosowywanie synaps łączących neurony, tak, aby zmodyfikować siłę wpływu jednego neuronu na drugi. Później sieć określa, czy powstałe w ten sposób wzorce zachowań lepiej pasują do oczekiwanych rozwiązań. Wraz z upływem czasu wzorce te stają się coraz bardziej dopasowane. Cały proces przypomina uczenie się zachodzące w ludzkim mózgu, a kiedy warstw neuronów jest wiele, to mówimy o głębokiej sieci neuronowej.
Obecnie sztuczna inteligencja wykazuje się bardzo wysokim zapotrzebowaniem na energię
Jak do tej pory jednym z podstawowych sposobów na ograniczenie zapotrzebowania na zasoby zmniejszanie tranzystorów i ich gęste pakowanie. Problem w tym, że sygnały między tranzystorami muszą przemieszczać się coraz dalej, a im dłuższe przewody, tym więcej energii zużywają sygnały. A co by było, gdyby sztuczna inteligencja mogła wysyłać mniej sygnałów, przekazując jednocześnie więcej informacji?
Rozwiązaniem mogłoby być nie naśladować synapsy, lecz tzw. dendryty. To właśnie w ich obrębie neuron odbiera sygnały z innych komórek. Z kolei synapsa to przestrzeń, która oddziela dendryt lub akson od innej komórki. Dendryty mogą przypominać nieco gałęzie, a w kolejność, w jakiej otrzymują sygnały decyduje o sile ich reakcji. W praktyce oznacza to, że kiedy sygnał pochodzą najpierw od wierzchołka, a później od trzonu, to reaguje silniej niż w odwrotnej sytuacji.
Naukowcy opracowali więc model obliczeniowy reagujący tylko wtedy, gdy sygnały nadchodziły w ściśle określonej kolejności. To z kolei mogłoby sprawić, że każdy dendryt będzie kodował dane nie tylko w systemie zero-jedynkowym, lecz wykorzysta wyższe układy bazowe, w zależności od liczby połączeń, jakie posiada, i długości ciągów sygnałów, jakie otrzymuje.