4-minútové čítanie
Tlačová správa
Bratislava, 14. novembra, 2023 – Spoločnosť Tachyum® dnes oznámila vydanie bielej knihy, v ktorej opisuje, ako sa dajú využívať 4-bitové formáty Tachyum AI (TAI) a formáty, ktoré efektívne ukladajú váhy modelov v dvoch bitoch (TAI2) pri kvantizácii veľkých jazykových modelov (LLM) bez zníženia ich presnosti. Hardvér Tachyum umožňuje aj funkčné LLM s formátom efektívne ukladajúcim váhy modelov v jednom bite s vyššou degradáciou ako TAI2. Výskumníci z AI divízie firmy ho ďalej zdokonaľujú s cieľom znížiť degradáciu, keďže sa Tachyum snaží sprístupniť ho pre širokú verejnosť.
Tachyum sa zaoberá masívnymi modelmi LLM s možnosťami, ktoré sa za posledných niekoľko rokov dramaticky zvýšili viac ako tisícnásobne. Príkladom tohto nárastu sú veľké jazykové modely ChatGPT-3.5 so 175 miliardami parametrov, PALM LLM s 530 miliardami hustých (dense) parametrov a model Switch Transformer s 1,6 biliónmi riedkych (sparse) parametrov.
Z pohľadu nákladov by si napríklad 1,6 bilióna parametrov modelu Switch Transformer vyžadovalo 52x NVIDIA H100 80GB GPU po 41 789 USD + 7 x 25 000 USD za GPU servery Supermicro = 2 348 028 USD. Naproti tomu rovnako veľké modely by zvládol jediný socket systém Prodigy s 2 TB DDR5 DRAM za 23 000 USD a sprístupnil by ich tak pre aplikácie generatívnej AI.
Systémy AI postavené na univerzálnych čipoch Prodigy s 256PB DDR5 DRAM (Dynamic Access Random Memory) využívajúce FP8 (8-bitovú reprezentáciu s pohyblivou desatinnou čiarkou) a 4-bitové dátové formáty Tachyum AI (TAI) umožňujú zvládať modely až s 100 triliónmi parametrov. Dokážu obslúžiť viac ako 150 000x modelov ChatGPT alebo 610 000x modelov PALM2 a predstavujú obrovské možnosti využitia LLM ako hlavnej technológie v rôznych odvetviach od maloobchodu a e-commerce, marketingu, financií, kybernetickej bezpečnosti, armády až po zdravotníctvo vrátane rýchlejšieho vývoja liekov alebo praktickej implementácie personalizovanej medicíny v nemocniciach.
Efektívne nasadenie LLM si vyžaduje nízkobitovú kvantizáciu, aby sa minimalizovala veľkosť modelu a náklady na inferenciu. Tradičnou voľbou doteraz boli nízkobitové celočíselné formáty, ako napríklad INT8 a INT4. Nové nízkobitové exponenciálne formáty však ponúkajú presvedčivú alternatívu. Malé aj veľké podniky v rozličných odvetviach by tak mohli začať používať LLM pri rozumných nákladoch. LLM by mohli byť neoddeliteľnou súčasťou webovej prezentácie firiem pri poskytovaní interaktívneho zážitku. Návštevníkom web stránok by napríklad mohli umožňovať prirodzene klásť otázky namiesto zadávania vyhľadávacích výrazov.
“Kombináciou 4-bitových váh TAI a efektívnych 2-bitových váh s FP8 na aktiváciu sme schopní kvantizovať LLM bez výrazného zníženia presnosti,” povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. “Naše techniky zabraňujú nákladnému násobeniu a zároveň znižujú veľkosť modelu 4 až 8-násobne, čo umožňuje generatívne modely umelej inteligencie, ktoré sa dajú použiť v rôznych prípadoch od komplexných úloh modelovania jazyka, generovania textov, návrhu liekov a čipov, strojového učenia až po modelovanie proteínových sekvencií. Vďaka Tachyum AI sa môžu otvoriť úplne nové cesty výpočtov.”
Ako univerzálny procesor ponúkajúci špičkový výkon pre všetky pracovné zaťaženia, môžu servery dátových centier plynule a dynamicky prepínať medzi výpočtovými doménami (ako sú AI/ ML, HPC a cloud) s jednou architektúrou. Odstránením potreby drahého špecializovaného hardvéru pre AI a výrazným zvýšením využitia serverov, Prodigy signifikantne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 192 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až 4,5-násobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže, a v porovnaní s najvýkonnejším GPU až trojnásobný výkon pre HPC a šesťnásobný výkon pre AI aplikácie.
Záujemcovia si publikáciu “Mainstreaming Large Language Models With 2-bit TAI Weights” môžu stiahnuť na webe spoločnosti.
https://www.linkedin.com/company/tachyum
https://www.facebook.com/Tachyum/
Spoločnosť Tachyum so svojím vlajkovým produktom Prodigy, prvým univerzálnym procesorom na svete, transformuje ekonomiku pracovných záťaží v oblasti umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier. Prodigy spája funkcie CPU, GPGPU a TPU do jediného procesora, aby poskytoval špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Keďže emisie svetových dátových centier naďalej prispievajú k zmene klímy a podľa prognóz budú spotrebovávať 10 percent elektrickej energie na svete do roku 2030, procesor Prodigy s veľmi nízkou spotrebou energie je v pozícii pomôcť vyvážiť globálny dopyt po výpočtovom výkone pri nižšej environmentálnej záťaži. Tachyum nedávno prijala významnú objednávku od americkej spoločnosti na vybudovanie rozsiahleho systému, ktorý poskytne počítačový výkon viac ako 50 exaflopov, čo exponenciálne prevýši výpočtovú kapacitu najrýchlejších superpočítačov pre inferenciu alebo generatívnu AI, ktoré sú dnes dostupné kdekoľvek na svete. Po dokončení v roku 2025 bude systém postavený na čipoch Prodigy poskytovať 25-násobný multiplikátor v porovnaní so svetovo najrýchlejším konvenčným superpočítačom, ktorý bol postavený iba tento rok, a bude dosahovať 25 000-krát väčšiu kapacitu pre AI ako modely pre ChatGPT4. Spoločnosť Tachyum má pobočky v Spojených štátoch a na Slovensku. Pre viac informácií navštívte https://www.tachyum.com/.###