Časté otázky a odpovědi
Krátce a jasně zodpovídáme vaše nejběžnější dotazy o našich službách a jak vám můžeme pomoci dosáhnout digitálního úspěchu.
Jak zajišťujete ochranu dat a soukromí během trénování?
Ochrana dat je pro nás klíčová – pracujeme jen s daty, ke kterým máte oprávnění, a projekt nastavujeme tak, aby citlivá data neopouštěla vaši infrastrukturu nebo dohodnuté zabezpečené prostředí. Postupujeme v souladu s GDPR, se všemi stranami podepisujeme smlouvu o mlčenlivosti (NDA) a data nikdy nepoužíváme k trénování jiných modelů…Jak probíhá komunikace v průběhu projektu?
Domluvíme si pravidelné konzultace, na kterých ukazujeme průběžné výsledky, řešíme případné úpravy zadání a odpovídáme na otázky. Chcete-li, můžeme komunikovat i průběžně přes e-mail nebo videohovor, podle toho, co vám vyhovuje.Co od nás budete na začátku projektu potřebovat?
Nejvíc nám pomůže představa, jaký problém chcete vyřešit, a přístup k relevantním datům – dokumentům, databázím nebo systémům, se kterými má model pracovat. Zbytek, včetně technického nastavení, si vezmeme na starost my.Jaký hardware potřebujeme na vlastní AI model?
Záleží na velikosti modelu a na tom, kolik lidí ho bude používat. Na vytěžování dokumentů a třídění textů stačí jedna výkonná grafická karta s 24 GB paměti. Pro firemního asistenta nad dokumenty je rozumný start karta s 32 GB, pro provoz s několika uživateli současně se vyplatí 96 GB a…Kdo se stará o provoz, zálohování a bezpečnost modelu?
Podle domluvy můžeme zajistit i provoz modelu po nasazení – včetně zálohování, monitoringu a bezpečnostních opatření. Pokud chcete provoz řešit interně, předáme vám model i s dokumentací tak, abyste ho mohli spravovat sami.Vyřeší trénování modelu to, že si AI vymýšlí?
Samotné dotrénování ne, halucinace vznikají z podstaty jazykových modelů. Spolehlivost se řeší jinak: napojením modelu na vaše dokumenty a databáze (RAG), aby odpovídal z ověřených zdrojů, a důkladným testováním na reálných příkladech. Finetuning k tomu přidá správnou terminologii a formu odpovědí. Obojí kombinujeme podle toho, co úloha vyžaduje.Je lokální model horší než ChatGPT nebo Claude?
U nejnáročnějších úloh ano a nemá smysl to zakrývat. Rozdíl je ale mnohem menší, než bývalo zvykem, a u běžné firemní práce – vytěžování dokumentů, shrnování, odpovídání nad vlastními daty, klasifikace – je dnes dobře nasazený lokální model plně použitelný. Rozhodující není žebříček, ale to, jestli zvládne vaši konkrétní úlohu.…Jak trénování nebo ladění modelu v praxi probíhá?
Nejdřív si společně ujasníme cíl a projdeme dostupná data. Následuje příprava a očištění dat, samotné trénování nebo finetuning, testování na reálných scénářích a ladění podle výsledků. Na závěr model nasadíme a předáme i s dokumentací, jak s ním pracovat.Kolik stojí trénování nebo finetuning AI modelu?
Cena záleží na rozsahu úlohy, velikosti modelu a množství dat, se kterými pracujeme – finetuning menšího modelu na konkrétní úlohu vyjde jinak než trénování rozsáhlejšího modelu na doménově specifických datech. Na úvodní konzultaci projdeme vaše zadání a připravíme orientační nabídku na míru, ať víte, s čím počítat, než se do…Co když nám lokální model přestane stačit?
Řešení stavíme tak, aby šel model vyměnit bez přestavby zbytku. Rozhraní, kterým na něj vaše systémy volají, zůstává stejné, takže se dá nasadit větší model, přejít na výkonnější hardware, nebo náročné dotazy přesměrovat do cloudu a zbytek nechat běžet lokálně. Tuhle kombinaci používá většina firem, které to mají dobře postavené.Co je kvantizace a o kolik se tím zhorší výsledek?
Kvantizace je zmenšení modelu tím, že se jeho vnitřní čísla uloží v menší přesnosti. Model s třiceti miliardami parametrů zabere v plné přesnosti zhruba šedesát gigabajtů, ve čtyřbitové kvantizaci necelých dvacet, takže se vejde na jednu grafickou kartu. Ztráta kvality je u čtyř bitů obvykle malá, u agresivnějších úrovní znatelná.…Rozběhneme model na serveru, který už máme?
Často ano, hlavně pokud v něm je grafická karta s dostatkem paměti. Provedeme audit toho, co máte, změříme, co na tom reálně poběží a jak rychle, a teprve pak řekneme, jestli stačí dokoupit paměť, vyměnit kartu, nebo pořídit nový stroj. Někdy vyjde levněji doplnit stávající server než kupovat nový.
