Tachyum podstatne znižuje náklady na DeepSeek jeho kvantizáciou na 2 bity

Bratislava, 3. júna 2025 – Spoločnosť Tachyum^® dnes oznámila vydanie novej bielej knihy, ktorá podrobne popisuje, ako efektívne škáluje trénovanie a inferenciu veľkých jazykových modelov (LLM) prostredníctvom prístupu Mixture of Experts (MoE). Metóda spoločnosti Tachyum je ďalej vylepšená architektúrou DeepSeekMoE so 4-bitovými dátovými typmi FP4 pre kvantizáciu aktivácií a 2-bitovou kvantizáciou riedkych (sparse) váh Tachyum AI (TAI2).

Biela kniha “Tachyum Successfully Quantized DeepSeek LLM to its 2-bit TAI2” ilustruje, ako Tachyum integruje MoE s nízkobitovými dátovými formátmi, aby uvoľnila škálovateľnú AI s bezkonkurenčnou účinnosťou. Táto kombinácia umožňuje vývoj výkonnejších modelov a zároveň výrazne znižuje požiadavky na zdroje.

MoE dokážu porovnať výkon hustých (dense) modelov s použitím približne 4-krát menšej výpočtovej a pamäťovej šírky pásma, pričom je potrebné zvýšiť iba pamäťovú kapacitu približne 4-krát. Očakáva sa, že tento pomer bude naďalej rásť. Táto architektúra ťaží z patentovanej vysokovýkonnej pamäte spoločnosti Tachyum, čím eliminuje potrebu nákladných riešení s veľkou šírkou pásma (HBM). Úspešná kvantizácia jazykového modelu DeepSeek na 2-bitový TAI2 ďalej zdvojnásobuje výhodu DeepSeekMoE LLM v porovnaní s inými architektúrami.

Výskumníci pre AI spoločnosti Tachyum použili kvantizáciu aktivácie FP4 a 2-bitovú kvantizáciu sparse váh TAI2 na modely DeepSeekMoE a Llama 3.1. Benchmark testovanie preukázalo až 25-krát vyššiu rýchlosť inferencie a 20-násobné zníženie nákladov na token, čo znamená veľký skok v efektivite nasadenia LLM.

“Prístup DeepSeek ukázal potenciál realizovať modely novej generácie 10-krát efektívnejšie pri dnešných nákladoch, čo umožní vyhnúť sa problémom s exponenciálnym škálovaním, ktorým čelia organizácie v súčasnosti,” povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. “S platformou Prodigy umožňujeme prelomovú efektivitu pre aplikácie AI v celosvetovom meradle.”

Biela kniha tiež zdôrazňuje kľúčovú úlohu hardvéru Tachyum pri uľahčovaní tejto transformácie a ukazuje schopnosť univerzálneho procesora Prodigy podporovať vysoko efektívne záťaže AI so špičkovým výkonom.

Keďže univerzálny procesor ponúka špičkový výkon pre všetky pracovné zaťaženia, môžu servery dátových centier postavených na Prodigy plynule a dynamicky prepínať medzi výpočtovými doménami (ako sú AI/ ML, HPC a cloud) s jednou architektúrou. Odstránením potreby drahého špecializovaného hardvéru pre AI a výrazným zvýšením využitia serverov, Prodigy signifikantne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 256 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až 18-násobný výkon v porovnaní s najvýkonnejšími GPU pre AI aplikácie, 3-násobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže a 8-násobný výkon v porovnaní s najvýkonnejšími GPU pre HPC.

Tí, ktorí majú záujem prečítať si bielu knihu „Tachyum Successfully Quantized DeepSeek LLM to its 2-bit TAI2”, si ju môžu stiahnuť na webe spoločnosti.

Sledujte Tachyum

https://x.com/tachyum

https://www.linkedin.com/company/tachyum

https://www.facebook.com/Tachyum/

O spoločnosti Tachyum

Spoločnosť Tachyum so svojím vlajkovým produktom Prodigy, prvým univerzálnym procesorom na svete, transformuje ekonomiku pracovných záťaží v oblasti umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier. Prodigy spája funkcie CPU, GPGPU a TPU do jediného procesora, aby poskytoval špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Keďže emisie svetových dátových centier naďalej prispievajú k zmene klímy a podľa prognóz budú spotrebovávať 10 percent elektrickej energie na svete do roku 2030, procesor Prodigy s veľmi nízkou spotrebou energie je v pozícii pomôcť vyvážiť globálny dopyt po výpočtovom výkone pri nižšej environmentálnej záťaži. Tachyum prijala významnú objednávku od americkej spoločnosti na vybudovanie rozsiahleho systému, ktorý poskytne počítačový výkon viac ako 50 exaflopov, čo exponenciálne prevýši výpočtovú kapacitu najrýchlejších superpočítačov pre inferenciu alebo generatívnu AI, ktoré sú dnes dostupné kdekoľvek na svete. Spoločnosť Tachyum má pobočky v Spojených štátoch, na Slovensku a v Česku. Pre viac informácií navštívte https://www.tachyum.com/.