Obchod s hardvérom pre AI
Prezrite si mini PC, NAS, pracovné stanice, servery a edge hardvér pre AI — každý systém môže byť doplnený o inštalačnú službu a softvérové inovácie od ⏻ On Intelligence.
| Fotka | Produkt | Cena | Kapacita |
|---|
Pochopenie kapacity modelu
Kapacita modelu sa vzťahuje na počet parametrov, ktoré model AI obsahuje (napr. 70B = 70 miliárd parametrov). Väčšie modely všeobecne vyžadujú viac pamäte a výpočtového výkonu, ale môžu ponúknuť lepšie uvažovanie a kvalitu výstupu.
Presnosť (FP16 / FP8 / FP4) ovplyvňuje množstvo pamäte, ktorú daná kapacita modelu vyžaduje: formáty s nižšou presnosťou približne polovične znižujú požiadavky na pamäť pri každom kroku (FP16 → FP8 → FP4), na úkor presnosti výstupu.
| Veľkosť modelu | Typická pamäť (FP16) | Typická pamäť (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |