Tachyum s platformou Prodigy ATX za cenu 5 000 USD robí umelú inteligenciu prístupnou pre všetkýchBratislava, 8. februára, 2024 – Spoločnosť Tachyum®, tvorca Prodigy®, prvého univerzálneho procesora na svete, dnes vydala bielu knihu, ktorá popisuje, ako platforma Prodigy ATX (Advanced Technology Extended) sprístupní umelú inteligenciu (Artificial Intelligence, AI) pre tých, ktorí bežne nemajú prístup k sofistikovaným AI modelom. Platforma Prodigy ATX umožní prevádzkovať špičkové AI modely už za cenu 5 000 USD.
AI subsystém čipu Prodigyje od základov vytvorený tak, aby poskytoval špičkové funkcie umelej inteligencie. Tie riešia vznikajúci dopyt po umelej inteligencii naprieč širokou škálou aplikácií a pracovných záťaží. Subsystém zahŕňa inovatívne funkcie, ktoré poskytujú vysoký výkon a efektivitu vyžadovanú od prostredí umelej inteligencie. Biela kniha ukazuje, ako môže jediný systém Prodigy s jedným terabajtom (TB) pamäte spustiť model ChatGPT4 s 1,7 bilióna parametrov, zatiaľ čo na prevádzku rovnakého modelu je potrebných 52 GPU NVIDIA H100 pri výrazne vyšších nákladoch a spotrebe energie.
Keďže veľké jazykové modely (Large Language Model, LLM) sú náročné na pamäťovú kapacitu, určenie veľkosti pamäte pre LLM je rozhodujúce. Rovnako dôležité je použitie najnovšej technológie, ktorá optimalizuje pamäťovú náročnosť pre najmodernejšie LLM, ktoré môžu mať bilióny parametrov. Prodigy ťaží zo svojho pokročilého subsystému AI, ktorý podporuje špičkové dátové typy, ako sú 4-bitové TAI (Tachyum AI) a efektívne 2-bitové váhy s FP8 (8-bitová reprezentácia s pohyblivou desatinnou čiarkou) na aktiváciu, čo výrazne znižuje pamäťovú stopu potrebnú pre LLM.
Pretože platforma Prodigy ATX je určená na využitie predtrénovaných modelov a zameranie sa na inferenciu, Tachyum prehodnocuje predpoklady pre pamäťovú náročnosť potrebnú na inferenciu. Za predpokladu, že LLM s jedným biliónom parametrov beží s FP8, pamäť potrebná pre váhy je 1 TB. Ďalej sa počíta s dodatočnou pamäťou pre inferenciu, ktorá je zvyčajne 0,2-násobkom veľkosti modelu, teda 200 GB, ktorá sa pridáva na runtime výpočty pre aktivácie. Pre FP8 je celková pamäť potrebná pre model s jedným biliónom parametrov približne 1,2 TB.
Vzhľadom na 4-bitové formáty Tachyum AI (TAI) so 4-bitovými váhami je pamäť potrebná pre váhy znížená na 500 GB a runtime inferenčná pamäť je pevne stanovená na 200 GB pre celkovú požiadavku 700 GB. Keď vezmeme do úvahy spustenie riedkeho (sparse) TAI s 2-bitovými váhami, pamäť potrebná pre váhy sa ďalej zníži na 250 GB. S 200 GB runtime inferenčnej pamäte je celková požiadavka 450 GB.
Ak zopakujeme tieto kroky pre 1,7 bilióna parametrov jazykového modelu ChatGPT4: inferenčná pamäť je 0,2 x 1,7 bilióna = 340 GB a celková pamäť potrebná pre FP8 je 1,7 TB pre váhy + 340 GB = 2,04 TB. Prechodom z FP8 na 4-bitové TAI váhy vyžadujú 2x menej pamäte, takže pamäť spotrebovaná váhami je 1,7/2 = 850 GB a celková požiadavka na pamäť je 850 GB + 340 GB = 1,19 TB.
Ak prejdeme na riedke (sparse) TAI s 2-bitovými váhami, pamäťová požiadavka na váhy sa zníži na 425 GB. Ak teraz pripočítame 425 GB k pamäti potrebnej na inferenciu, 425 GB + 340 GB, dostaneme celkovú požiadavku na pamäť 765 GB, čo je výrazne pod 1 TB komoditnej systémovej pamäte, ktorú ponúka platforma Prodigy ATX. Je tu dostatok priestoru, takže môžu byť podporované aj väčšie LLM.
Medzi kľúčové komponenty architektúry platformy Prodigy ATX, ktoré sú uvedené v bielej knihe patria:
- Jedno-soketový 96-jadrový univerzálny procesor Prodigy s frekvenciou až 5.7 GHz a s 8 DDR5 pamäťovými radičmi
- 16 64 GB komoditné DIMM (pamäťové moduly Dual In-line Memory Module), dva DIMM/ kanál, podporujúci až DDR5-6400 s celkovou kapacitou pamäte 1 TB
- 3 PCIe 5.0 sloty, ktoré podporujú plnú výšku a šírku formátu:
- 1 slot x16 s 16 linkami
- 2 slot x16 s 8 linkami
- 3 M.2 NVMe sloty podporujúce 22x80mm formát
- 1200W napájací zdroj
Platforma ťaží z jedinečného riešenia Prodigy „half die“, ktoré umožňuje, aby celé 192-jadrové zariadenie fungovalo ako dve samostatné 96-jadrové zariadenia. Táto architektúra poskytuje firme Tachyum zvýšenú výťažnosť pre 96-jadrové zariadenia, znižuje náklady na platformu a robí platformu Prodigy ATX ešte dostupnejšou.
Platforma Prodigy ATX rieši širokú škálu prípadov použitia, ako je generovanie jazyka, preklad jazyka, generovanie kódu, virtuálne vyučovanie, sumarizácia obsahu, analýza sentimentu, detekcia podvodov alebo kybernetických útokov a filtrovanie obsahu. Platforma využíva mnohé predtrénované LLM, ktoré sú dnes k dispozícii, s podporou proprietárnych aj otvorených modelov.
„Generatívna AI bude široko využívaná oveľa rýchlejšie, než ktokoľvek pôvodne predpokladal,“ povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. „O rok alebo dva bude AI povinnou zložkou na webových stránkach, chatbotoch a iných dôležitých komponentoch pre produktivitu, aby sa zabezpečila dobrá používateľská skúsenosť. Výkonné schopnosti umelej inteligencie čipu Prodigy umožňujú LLM prevádzkovať oveľa jednoduchšie a nákladovo efektívnejšie ako existujúce systémy založené na kombinácii CPU + GPGPU, čo organizáciám všetkých veľkostí umožňuje súťažiť v iniciatívach AI, ktorým by inak dominovali najväčší hráči v ich odvetví.“
Prodigy poskytuje vysoký výkon potrebný pre cloudové aj HPC/AI záťaže v rámci jednej architektúry. Ako univerzálny procesor ponúkajúci využiteľnosť pre všetky pracovné zaťaženia môžu servery dátových centier poháňané Prodigy plynule a dynamicky prepínať medzi výpočtovými doménami. Odstránením potreby drahého špecializovaného hardvéru pre UI a výrazným zvýšením využitia serverov Prodigy výrazne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 192 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až štvornásobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže, a v porovnaní s najvýkonnejším GPU až trojnásobný výkon pre HPC a šesťnásobný výkon pre AI aplikácie.
Záujemcovia si bielu knihu ”Tachyum’s Prodigy ATX Platform Democratizing AI for Everyone” môžu stiahnuť na webe spoločnosti.
Sledujte Tachyum
https://www.linkedin.com/company/tachyum
https://www.facebook.com/Tachyum/
O spoločnosti Tachyum
Spoločnosť Tachyum so svojím vlajkovým produktom Prodigy, prvým univerzálnym procesorom na svete, transformuje ekonomiku pracovných záťaží v oblasti umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier. Prodigy spája funkcie CPU, GPGPU a TPU do jediného procesora, aby poskytoval špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Keďže emisie svetových dátových centier naďalej prispievajú k zmene klímy a podľa prognóz budú spotrebovávať 10 percent elektrickej energie na svete do roku 2030, procesor Prodigy s veľmi nízkou spotrebou energie je v pozícii pomôcť vyvážiť globálny dopyt po výpočtovom výkone pri nižšej environmentálnej záťaži. Tachyum nedávno prijala významnú objednávku od americkej spoločnosti na vybudovanie rozsiahleho systému, ktorý poskytne počítačový výkon viac ako 50 exaflopov, čo exponenciálne prevýši výpočtovú kapacitu najrýchlejších superpočítačov pre inferenciu alebo generatívnu AI, ktoré sú dnes dostupné kdekoľvek na svete. Po dokončení v roku 2025 bude systém postavený na čipoch Prodigy poskytovať 25-násobný multiplikátor v porovnaní so svetovo najrýchlejším konvenčným superpočítačom, ktorý bol postavený iba tento rok, a bude dosahovať 25 000-krát väčšiu kapacitu pre AI ako modely pre ChatGPT4. Spoločnosť Tachyum má pobočky v Spojených štátoch a na Slovensku. Pre viac informácií navštívte https://www.tachyum.com/.
- 1 slot x16 s 16 linkami
- 2 slot x16 s 8 linkami