Vlastní AI model, který běží tam, kde chcete vy

Cena záleží na rozsahu úlohy, velikosti modelu a množství dat, se kterými pracujeme – finetuning menšího modelu na konkrétní úlohu vyjde jinak než trénování rozsáhlejšího modelu na doménově specifických datech. Na úvodní konzultaci projdeme vaše zadání a připravíme orientační nabídku na míru, ať víte, s čím počítat, než se do projektu pustíme.

Pracujeme s otevřenými jazykovými modely (například Llama nebo Mistral) i s komerčními API jako GPT nebo Claude. Vedle jazykových modelů trénujeme také modely strojového vidění a prediktivní modely nad firemními daty. Pro náročnější trénování a finetuning využíváme výpočetní výkon superpočítače LUMI, jednoho z nejvýkonnějších v Evropě.

Model i všechna data, na kterých je postavený, zůstávají vaše. Nic nesdílíme s třetími stranami ani nepoužíváme pro trénování jiných projektů – pracujeme čistě jako dodavatel na vaší infrastruktuře nebo v prostředí, na kterém se předem domluvíme.

Ano, propojení s existujícími systémy je běžnou součástí projektů – ať už jde o ERP, účetní software, e-shopovou platformu nebo interní databáze. Model tak může pracovat přímo s vašimi reálnými daty a zapojit se do procesů, které už ve firmě máte.

Nejdřív si společně ujasníme cíl a projdeme dostupná data. Následuje příprava a očištění dat, samotné trénování nebo finetuning, testování na reálných scénářích a ladění podle výsledků. Na závěr model nasadíme a předáme i s dokumentací, jak s ním pracovat.

Vlastní model dává smysl firmám, které pracují se specifickými nebo citlivými daty, potřebují opakovaně řešit stejný typ úlohy – třeba kontrolu kvality ve výrobě, vytěžování dokumentů nebo predikci poptávky – nebo narážejí na limity obecných nástrojů typu ChatGPT. Pokud jde spíše o jednorázovou nebo obecnou úlohu, může být rychlejší a levnější sáhnout po hotovém řešení – to vám na konzultaci rádi upřímně řekneme.

Domluvíme si pravidelné konzultace, na kterých ukazujeme průběžné výsledky, řešíme případné úpravy zadání a odpovídáme na otázky. Chcete-li, můžeme komunikovat i průběžně přes e-mail nebo videohovor, podle toho, co vám vyhovuje.

Ano, model není nutné stavět znovu od nuly, pokud se změní vaše potřeby nebo přibudou nová data. Umíme ho doladit, rozšířit o nové schopnosti nebo přetrénovat na aktuálnější data, ať roste spolu s vaší firmou.

Podle domluvy můžeme zajistit i provoz modelu po nasazení – včetně zálohování, monitoringu a bezpečnostních opatření. Pokud chcete provoz řešit interně, předáme vám model i s dokumentací tak, abyste ho mohli spravovat sami.

ChatGPT je skvělý obecný asistent, ale řada firemních úloh je jiného druhu: rozpoznávání vad na lince, predikci poptávky ani vytěžování dokumentů s ním nevyřešíte. A i u jazykových úloh má vlastní nebo doladěný model výhody – udrží vaši terminologii a styl, běží na infrastruktuře pod vaší kontrolou a při velkém objemu dotazů vyjde levněji než placené API.

Ochrana dat je pro nás klíčová – pracujeme jen s daty, ke kterým máte oprávnění, a projekt nastavujeme tak, aby citlivá data neopouštěla vaši infrastrukturu nebo dohodnuté zabezpečené prostředí. Postupujeme v souladu s GDPR, se všemi stranami podepisujeme smlouvu o mlčenlivosti (NDA) a data nikdy nepoužíváme k trénování jiných modelů ani projektů.

Ano, nemusíte začínat od nuly. Pokud už s nějakým modelem pracujete a nejste spokojení s výsledky, podíváme se, kde přesně vázne, a navrhneme, jestli stačí doladění (finetuning), úprava promptů a dat, nebo je efektivnější přejít na jiný model.

Nejvíc nám pomůže představa, jaký problém chcete vyřešit, a přístup k relevantním datům – dokumentům, databázím nebo systémům, se kterými má model pracovat. Zbytek, včetně technického nastavení, si vezmeme na starost my.

Stačí napsat přes kontaktní formulář na této stránce, zavolat na +420 555 333 158, nebo si rovnou vybrat termín 15minutového hovoru v kalendáři. Ozveme se do jednoho pracovního dne a na úvodním hovoru probereme vaše zadání, data i možnosti řešení. Konzultace ani návrh nic nestojí a k ničemu vás nezavazují.

Samotné dotrénování ne, halucinace vznikají z podstaty jazykových modelů. Spolehlivost se řeší jinak: napojením modelu na vaše dokumenty a databáze (RAG), aby odpovídal z ověřených zdrojů, a důkladným testováním na reálných příkladech. Finetuning k tomu přidá správnou terminologii a formu odpovědí. Obojí kombinujeme podle toho, co úloha vyžaduje.

Ano. Jazykové modely jsou jen část naší práce. Trénujeme i modely strojového vidění pro kontrolu kvality nebo čtení dokumentů a prediktivní modely pro plánování poptávky, zásob a údržby.

Záleží na velikosti modelu a na tom, kolik lidí ho bude používat. Na vytěžování dokumentů a třídění textů stačí jedna výkonná grafická karta s 24 GB paměti. Pro firemního asistenta nad dokumenty je rozumný start karta s 32 GB, pro provoz s několika uživateli současně se vyplatí 96 GB a víc. Doporučení ale nikdy nedáváme z tabulky – model nejdřív změříme na vašich datech a podle výsledku navrhneme sestavu, která na úlohu opravdu stačí.

Cloud se platí za objem zpracovaného textu, takže náklady rostou s tím, jak AI ve firmě zdomácní. Vlastní server se kupuje jednou a pak stojí elektřinu a správu. Zlom obvykle nastane tam, kde by měsíční útrata za API pokryla splátku hardwaru, což u nepřetržitě běžícího agenta bývá v řádu měsíců, zatímco u občasného používání se nevrátí nikdy. Orientačně si to spočítáte v kalkulačce na této stránce, přesně to vyjde z vašeho reálného objemu dotazů.

U nejnáročnějších úloh ano a nemá smysl to zakrývat. Rozdíl je ale mnohem menší, než bývalo zvykem, a u běžné firemní práce – vytěžování dokumentů, shrnování, odpovídání nad vlastními daty, klasifikace – je dnes dobře nasazený lokální model plně použitelný. Rozhodující není žebříček, ale to, jestli zvládne vaši konkrétní úlohu. Proto ji před nasazením změříme.

Kvantizace je zmenšení modelu tím, že se jeho vnitřní čísla uloží v menší přesnosti. Model s třiceti miliardami parametrů zabere v plné přesnosti zhruba šedesát gigabajtů, ve čtyřbitové kvantizaci necelých dvacet, takže se vejde na jednu grafickou kartu. Ztráta kvality je u čtyř bitů obvykle malá, u agresivnějších úrovní znatelná. Přesné číslo pro vaši úlohu se nedá odhadnout, dá se jen změřit na testovací sadě, a to je součást naší práce.

Často ano, hlavně pokud v něm je grafická karta s dostatkem paměti. Provedeme audit toho, co máte, změříme, co na tom reálně poběží a jak rychle, a teprve pak řekneme, jestli stačí dokoupit paměť, vyměnit kartu, nebo pořídit nový stroj. Někdy vyjde levněji doplnit stávající server než kupovat nový.

Ano. Lokální model po nainstalování nepotřebuje připojení ven, což se hodí ve výrobě, v uzavřených sítích i v terénu. Řešíme pak jen aktualizace a zálohy, obvykle přes servisní okno nebo přenosné médium podle vašich bezpečnostních pravidel.

Lokální model se sám od sebe nemění, což je jeho výhoda – co jste otestovali, to běží. Nové verze modelů vycházejí průběžně a přechod na novější má smysl jen tehdy, když na vašich úlohách měřitelně pomůže. Pokud máte sjednaný provoz a dohled, sledujeme to za vás a přechod navrhneme s čísly v ruce.

Zjednodušuje hlavně doložitelnost. Když zpracování probíhá na vašem serveru, odpadá předávání osobních údajů třetí straně i otázka, kam se data ukládají a jak dlouho. Zbytek povinností tím nezmizí, proto k nasazení dodáváme řízení přístupů, logování dotazů a popis toho, jak systém pracuje, aby bylo z čeho vycházet při auditu.

Ano a bývá to jeden z hlavních důvodů, proč do lokálního nasazení jít. Agent, který běží nepřetržitě a zpracovává každý příchozí e-mail nebo dokument, spotřebuje v cloudu velké objemy a jeho účet špatně předvídáte. Na vlastním modelu běží za cenu elektřiny. Návrh a stavbu agentů řešíme v rámci služby AI agenti a workflow.

Řešení stavíme tak, aby šel model vyměnit bez přestavby zbytku. Rozhraní, kterým na něj vaše systémy volají, zůstává stejné, takže se dá nasadit větší model, přejít na výkonnější hardware, nebo náročné dotazy přesměrovat do cloudu a zbytek nechat běžet lokálně. Tuhle kombinaci používá většina firem, které to mají dobře postavené.