ROCm 7 oferuje trzykrotne zwiększenie wydajności
Na wydarzeniu Advancing AI, firma AMD dała do zrozumienia, że zwiększy swoją obecność w obszarze aplikacji AI. Oznacza to więcej możliwości dla użytkowników sprzętu AMD, takich jak laptopy z procesorem Ryzen AI, komputery stacjonarne z układem Ryzen AI Max lub kart graficznych Radeon.
Czytaj też: Microsoft też wyśmiewa Liquid Glass w systemie macOS Tahoe
Przykładem jest PyTorch, czyli biblioteka wspierająca popularne modele AI, takie jak „Transformers” z Hugging Face, co ułatwi ich działanie na sprzęcie Ryzen. W planie rozwoju ROCm zostanie zintegrowany z dystrybucjami Linuksa – Red Hat, Ubuntu i SuSE – w drugiej połowie 2025 roku. Dodatkowo firma poinformowała, że każda platforma AMD, od notebooków Ryzen AI 300 po Threadrippery, będzie w stanie obsłużyć różne rozmiary modeli AI.
Czytaj też: Microsoft z nowa funkcją Copilot Vision, ale nie dla Europy
ROCm 7 w teorii zaoferuje 3,2-krotny wzrost wydajności dla Llama 3.1 70B, 3,4-krotny dla Qwen2-72B oraz imponujący 3,8-krotny dla DeepSeek R1. Nowy stos ROCm zapewnia również trzykrotnie szybsze trenowanie modeli w porównaniu do poprzedniej generacji. Co więcej, wewnętrzne testy AMD pokazują, że ich MI355X z nowym ROCm jest o 1,3x szybszy od Nvidii B200 w modelu DeepSeek R1 (przy 8-bitowej precyzji zmiennoprzecinkowej). Dla AI liczy się szybkość generowania tokenów, tak jak w grach liczy się liczba poligonów. Zapewnienie deweloperom dostępu do tych możliwości na sprzęcie AMD to szybszy rozwój, czyli korzyść dla wszystkich (poza Nvidią).
Czytaj też: Pojedynek gigantów — Atari z 1977 vs ChatGPT. Kto Twoim zdaniem wygra?
Aktualnie grupa czerwonych boryka się w tym temacie z jednym problemem. Firma nie ma aplikacji skierowanej do konsumentów, która zachęcałaby użytkowników do korzystania z AI, czy to z LLM. Liczymy jednak, że szybko sobie z tym poradzą.