Lokální model může být kandidátem pro offline práci nebo větší kontrolu nad tokem dat. Jeho vhodnost ale neurčuje samotné místo běhu. Zde vysvětluji parametry, paměť a zkoušky, které mají předcházet nákupu hardwaru.
Model se stažitelnými vahami můžete provozovat na vlastním hardwaru podle jeho licence. Lokální inference označuje místo výpočtu, nezaručuje soukromí celé aplikace. Prověřte cloudové funkce, vyhledávání, nástroje, telemetrii, logy a zálohy. Vhodnost pro firmu ověřte na konkrétní úloze: kvalita, rychlost, náklady a správa dat se liší podle modelu i nasazení.
Co je otevřený model a čím se liší od ChatGPT
Když píšete do ChatGPT, Claude nebo Gemini, váš text jde na servery provozovatele, tam ho zpracuje model, o kterém víte jen to, co vám provozovatel řekne, a vrátí se odpověď. Model je uzavřený, nemůžete si ho stáhnout, prohlédnout ani provozovat jinde.
Model s otevřenými vahami zveřejňuje naučené parametry pod konkrétní licencí. Neznamená automaticky otevřená trénovací data ani neomezené použití. Například Qwen3-30B-A3B má Apache 2.0; respektujte podmínky přesné verze a souvisejících komponent.
Důležité: „otevřený“ neznamená „horší“. Znamená, že model můžete provozovat sami, se vším, co z toho plyne.
Co znamená „běží lokálně“
Stažený model lze spustit na notebooku, pracovní stanici nebo firemním serveru. Před použitím skutečných dat zkontrolujte celou aplikaci a její napojení, ne pouze adresu modelového serveru:
- tok dat ověřte, lokální výpočet nevylučuje odeslání dotazu nástrojem, cloudovým fallbackem, telemetrií nebo synchronizací,
- neplatíte za tokeny, platíte za hardware a elektřinu,
- offline provoz otestujte, všechny potřebné modely a závislosti musejí být dostupné lokálně; vzdálené nástroje offline nefungují,
- vy jste odpovědní za provoz, aktualizace, zabezpečení i za to, že model neodpovídá nesmysly.
Nejobvyklejší cesta pro jednotlivce a malé týmy jsou nástroje Ollama (příkazová řádka plus lokální rozhraní, běží na macOS, Windows i Linuxu) a LM Studio (grafická aplikace s katalogem modelů). Oba stáhnou model, spustí ho a nabídnou rozhraní, ke kterému se připojí chat nebo vaše aplikace. Pro firemní nasazení s víc uživateli pak existují serverové nástroje, ale to už je práce pro někoho, kdo servery spravuje.
Jak číst velikost modelu: parametry a kvantizace
Parametry jsou naučená čísla; B označuje miliardy. Jejich počet není univerzální stupnice inteligence ani rychlosti. Záleží také na architektuře, trénování, kvantizaci a konkrétní úloze.
Kvantizace ukládá hodnoty s nižší přesností. Může zmenšit paměťové nároky; dopad na kvalitu a rychlost se liší podle metody a úlohy. Označení 4bitové samo neurčuje paměť celé aplikace.
Čistě teoreticky znamenají 4 bity na parametr 0,5 GB na miliardu parametrů v desetinných jednotkách. Jde pouze o samotné hodnoty, nikoli odhad celého běhu: připočítávají se metadata kvantizace, cache kontextu, pracovní buffery i runtime. Měřte přesný soubor při cílovém kontextu a počtu souběžných požadavků.
MoE (mixture of experts) aktivuje pro token jen část expertů. Qwen3-30B-A3B uvádí 30,5 miliardy parametrů celkem a 3,3 miliardy aktivních, s přepínáním thinking/non-thinking. Menší aktivní část není slibem konkrétní rychlosti. Váhy mohou být podle runtime rozdělené mezi GPU a systémovou paměť; offloading ovlivňuje latenci.
Jaký hardware potřebujete
Nákup odvoďte od konkrétního souboru, runtime, délky kontextu a požadované souběžnosti. Ollama umí ukázat rozdělení mezi CPU a GPU; LM Studio popisuje podmínky offline provozu. Velký model nemusí vyžadovat více GPU, pokud přijatelně funguje jiný způsob načtení, ale rychlost je nutné změřit.
Praktická rada: začněte tím, co máte. Stáhněte Ollama nebo LM Studio, zkuste malý model, pak střední, a zjistíte, jestli vám kvalita pro daný úkol stačí, dřív než utratíte korunu za hardware.
Praktický příklad: Co zjistit před nákupem GPU
plán pilotu
| Položka | Zápis pro pilot |
|---|---|
| Hardware | GPU: 12 GB VRAM; RAM: 32 GB |
| Model | Přesný soubor + kvantizace: doplnit |
| Zátěž | 1 uživatel; dokument 8 000 tokenů |
| Ověření | Načtení, paměť, latence, správnost |
Kompatibilita není potvrzena. VRAM a dobu odpovědi ověřte testem konkrétního souboru.
Kde lokální modely dnes reálně pomáhají
V pilotu můžete zkusit následující úlohy. Kvalitu nepotvrzuje samotných 30B v názvu; definujte očekávané odpovědi a chybové případy:
- Sumarizace a extrakce, shrnout dokument, vytáhnout údaje ze smlouvy, sestavit zápis z přepisu.
- Interní asistent nad firemními dokumenty, odpovídat na otázky z interních směrnic, manuálů, historie zakázek, aniž by dokumenty opustily firmu.
- Klasifikace a třídění, rozřazovat poptávky, tikety, recenze; označovat sentiment; předzpracovat data pro další systém.
- Redakce osobních údajů, návrh odstranění identifikátorů. Před předáním jinam ověřte úplnost a možnost zpětné identifikace; modelový přepis sám neprokazuje anonymizaci.
- Objemové jednoduché úlohy, tisíce krátkých operací denně, kde by cloudový účet rostl a kvalita malého modelu stačí.
Praktický příklad: Extrakce musí ukázat místo ve zdroji
AUTORSKÁ UKÁZKA · FIKTIVNÍ DATA
| Pole | Návrh výstupu | Kontrola zdroje |
|---|---|---|
| Dokument | DEMO-017 | Modelová objednávka |
| Výrobek | Lampa Alba | Řádek „Položka“ |
| Počet | 2 ks | Řádek „Množství“ |
| Chybějící údaj | Termín: neuveden | Nevymýšlet datum |
Ukázka výstupu neprokazuje, kde model běžel ani kam data odešla.
Co porovnat s cloudovou alternativou
Tohle je část, kterou lidé neradi slyší, ale musíte ji vědět dřív, než nakoupíte servery:
- Kvalita. Porovnejte konkrétní lokální a cloudový model na stejných případech. Místo provozu samo neurčuje schopnosti; sledujte správnost, odmítnutí nepodložené odpovědi a opravy.
- Údržba. Modely, nástroje i knihovny se mění každý měsíc. Někdo musí aktualizovat, testovat, hlídat, že po aktualizaci model odpovídá stejně dobře.
- Hardware a náklady. Započítejte pořízení nebo pronájem, elektřinu, správu, zálohy a využití kapacity. Cloud může být levnější či dražší podle zatížení a tarifu; obecný vítěz neexistuje.
- Bezpečnost nasazení. Kontrolujte síťové požadavky, přístup k API, nástroje, uchování logů a záloh. Ollama popisuje lokální režim i vypnutí cloudových funkcí; nastavení samotného runtime ale neomezuje automaticky připojenou aplikaci. LM Studio rozlišuje offline funkce od funkcí vyžadujících síť.
- Chování modelu. Otevřené modely mají různá bezpečnostní nastavení a různé sklony k halucinacím; nikdo za vás nehlídá, co model uživatelům říká.
Výběr opřete o pilot a provozní požadavky. Lokální i cloudové řešení může obstát nebo selhat. Kombinace má smysl jen s jasným rozhodnutím, která data a úlohy smějí do kterého prostředí.
GDPR úhel
Lokální výpočet může omezit předávání údajů dalším subjektům, jen pokud tomu odpovídá skutečný provoz. Poskytovatel stažených vah nemusí být zpracovatelem vašich dokumentů; externí hosting, podpora, zálohy nebo cloudové nástroje ale mohou vytvářet další vztahy a přenosy. EDPB vysvětluje role správce a zpracovatele. Právní titul, minimalizaci, oprávnění a zabezpečení musíte řešit i lokálně. Označení „lokální“ není potvrzení souladu s GDPR.
Jak zjistit, jestli je vaše firma potřebuje
Odpovězte si na čtyři otázky:
- Pracujeme s daty, která nesmějí opustit firmu, zdravotní, právní, finanční, obchodní tajemství, a nestačí nám smluvní záruky cloudového poskytovatele?
- Potřebujeme AI tam, kde není spolehlivý internet (výroba, terén, uzavřené sítě)?
- Máme velký objem jednoduchých úloh, kde by cloudový účet rostl do desetitisíců měsíčně a kvalita menšího modelu stačí?
- Máme, kdo se o to postará, interně nebo externě?
Odpovědi nesčítejte do univerzálního skóre. Jediný požadavek na offline provoz může rozhodnout; bez správce může být lokální služba nevhodná i při více důvodech. Nejprve otestujte jednu úlohu na dostupném hardwaru.
Přesně tohle porovnání, kdy cloud, kdy lokální, jak vyzkoušet a jak nastavit pravidla pro tým, dělám na firemním školení AI. A kdo si to chce nejdřív osahat sám, začne na otevřeném kurzu, kde si lokální model spustíte naživo.
Shrnutí
- Stažitelné váhy mají vlastní licenci; lokální inference znamená výpočet na vašem hardwaru. Soukromí ověřujte v celé aplikaci a toku dat.
- Počet parametrů, kvantizace, kontext a souběh ovlivňují paměť. Latenci i kvalitu změřte u konkrétní konfigurace.
- Ollama a LM Studio jsou obvyklá cesta pro jednotlivce a malé týmy; začněte na tom, co máte.
- Sumarizace, extrakce a klasifikace jsou kandidáti pro pilot, nikoli zaručené schopnosti všech modelů určité velikosti.
- Cloud a lokální běh porovnejte podle úloh, správy dat a celkových nákladů.
- Lokální nasazení může omezit přenosy dat, ale samo neprokazuje soulad s GDPR.
Nejčastější otázky
Je lokální model zadarmo?
Licenční náklady závisejí na konkrétní licenci a způsobu použití. Vedle nich počítejte hardware, elektřinu, software a práci správce. Bezplatné váhy neznamenají bezplatný provoz.
Jaký nejmenší počítač stačí na vyzkoušení?
Vyberte konkrétní modelový soubor a podporovaný runtime. Ověřte načtení, skutečné využití RAM/VRAM, kontext a latenci. Samotný počet parametrů ani údaj o paměti notebooku nestačí pro spolehlivé doporučení.
Můžu lokální model napojit na firemní dokumenty?
Ano, s lokálním vyhledáváním a kontrolou oprávnění. Zvlášť ověřte, že dokumenty neodesílá embeddingová služba, nástroj, log nebo záloha. Samotné připojení složky nepotvrzuje kvalitu ani soukromí.
Nahradí lokální modely ChatGPT a Claude?
Pro některé úlohy mohou lokální modely nahradit cloud, pro jiné ne. Rozhodne kvalita na vašich případech, potřebné nástroje, hardware a správa; nelze obecně prohlásit cloudové modely za lepší.
Zdroje a odkazy
- Qwen3-30B-A3B na Hugging Face, 30,5 mld. parametrů celkem, 3,3 mld. aktivních, Apache 2.0, přemýšlecí a rychlý režim
- Ollama, lokální spouštění otevřených modelů na macOS, Windows a Linuxu
- LM Studio, grafická aplikace pro stažení a spuštění lokálních modelů
- Nařízení GDPR (EU) 2016/679, zpracování osobních údajů