Lokální AI ve firmě: kdy se vyplatí provozovat model na vlastním hardwaru

Co je lokální AI

Běžně se k jazykovému modelu připojujete přes internet. Zadání odejde na servery poskytovatele a vrátí se odpověď. Při lokálním provozu si model stáhnete a spustíte na vlastním zařízení: na pracovní stanici, na serveru ve firmě nebo na pronajatém serveru, který máte plně pod kontrolou.

Umožňují to modely s otevřenými vahami, například rodiny Llama, Mistral, Gemma nebo Qwen. Jejich podmínky použití se liší, licenci je potřeba zkontrolovat u každého zvlášť.

Kdy se lokální provoz vyplatí

• Citlivá data. Zdravotní záznamy, smlouvy, osobní údaje zákazníků, obchodní tajemství. Data zůstávají ve vaší síti, což zjednodušuje i plnění povinností podle GDPR.
• Velké objemy. Cloud se platí podle množství zpracovaného textu. Když denně zpracujete tisíce dokladů, pevná cena vlastního hardwaru může vyjít lépe.
• Nezávislost. Poskytovatel nezmění cenu, podmínky ani chování modelu ze dne na den.
• Provoz bez internetu nebo v uzavřené síti.
• Přizpůsobení. Vlastní model lze doladit na firemní terminologii a typické úlohy.

Kdy se nevyplatí

• Máte malý objem zadání. Cloud vyjde levněji a je bez starostí.
• Potřebujete špičkovou kvalitu u složitého uvažování nebo dlouhých textů.
• Nemáte nikoho, kdo by se o provoz staral, a nechcete ho svěřit dodavateli.

Co k tomu potřebujete

Hardware

Rozhoduje grafická karta a hlavně velikost její paměti. Čím větší model, tím víc paměti potřebuje. Menší modely běží na výkonné pracovní stanici. Pro větší modely a více uživatelů najednou je potřeba server s jednou či více výkonnými grafickými kartami.

Software

• Ollama: nejjednodušší způsob, jak model stáhnout a spustit. Hodí se pro zkoušení a menší nasazení.
• llama.cpp a vLLM: nástroje pro provoz s důrazem na výkon a obsluhu více požadavků najednou.
• Rozhraní: lokální model nabízí podobné API jako cloudové služby, takže ho lze zapojit do stávajících aplikací a AI agentů.

Provoz

Aktualizace modelů, zálohy, sledování výkonu, řízení přístupů. Lokální AI je služba, o kterou se někdo musí starat stejně jako o jiný server.

Co lokální modely zvládnou

Čeština bývá u menších modelů slabší než angličtina. Před nasazením proto vždy otestujte konkrétní model na vlastních datech.

Hybridní přístup

V praxi se osvědčuje kombinace. Citlivé a objemné úlohy zpracovává lokální model. Úlohy, kde záleží na nejvyšší kvalitě a data citlivá nejsou, jdou do cloudu. O směrování rozhodují pravidla podle typu dat, ne uživatel.

Kolik to stojí

Náklady mají tři složky: hardware (nákup, nebo pronájem), nasazení a průběžný provoz. Proti tomu stojí platby za cloud podle objemu. Bod zvratu závisí na tom, kolik textu měsíčně zpracujete. Proto doporučujeme začít měřením skutečného objemu na cloudovém modelu s necitlivými daty a teprve potom rozhodnout o hardwaru.

Lokální běhy AI nasazujeme na vlastní infrastruktuře i u klientů. Podrobnosti najdete na stránkách analytika a strojové učení a cloud a provoz.

Časté otázky

Co je lokální AI?

Jazykový model, který běží na vašem vlastním počítači nebo serveru. Zadání ani odpovědi neodcházejí k poskytovateli cloudové služby.

Jaký hardware lokální AI potřebuje?

Hlavně grafickou kartu s dostatkem paměti. Menší modely běží na výkonné pracovní stanici, větší modely a více současných uživatelů vyžadují server s výkonnými grafickými kartami.

Je lokální AI zdarma?

Modely s otevřenými vahami se stahují bez poplatku, ale mají různé licence. Platíte za hardware, elektřinu a práci na nasazení a provozu.

Jsou lokální modely stejně dobré jako ChatGPT?

U běžných úloh, jako je třídění, shrnutí nebo vytěžování údajů, obstojí dobře. U složitého uvažování a dlouhých textů jsou velké cloudové modely napřed.