AI crawlery a 30 českých e-shopů: co ukázalo měření

Zatímco se v článcích o AI vyhledávání opakuje, že „firmy musí být připravené“, nikdo neuvádí, jak na tom český trh reálně je. Tak jsem to změřil: 22. srpna 2026 jsem u třiceti českých e-shopů zkontroloval, jak mají nastavený robots.txt vůči AI crawlerům, jestli mají llms.txt a jaká strukturovaná data nabízejí na homepage. Metodika i agregovaná data jsou níž ke stažení.

Rychlá odpověď: co měření ukázalo

• Jen 5 z 25 e-shopů s čitelným robots.txt v něm vůbec zmiňuje nějakého AI crawlera. V dalších 20 souborech chybí explicitní zmínka sledovaných agentů; obecná pravidla přesto mohou platit.
• Úplně blokují aspoň jednoho AI crawlera jen 2 z 25. Jde o nalezená agent-specifická pravidla, nikoli o úplnou zkoušku přístupu všech robotů.
• llms.txt vrátil status 200 u 8 z 30 domén, ale jen u 4 jde o skutečný textový soubor. Zbytek servíruje HTML stránku aplikace, soubor tedy fakticky neexistuje.
• 7 z 23 čitelných homepage nemá žádné JSON-LD. Typ Product jsem našel u 3, FAQPage u jediného e-shopu.
• Základy nejsou samozřejmost: právě jeden H1 má 61 %, canonical 48 %, hreflang 48 %.
• 6 z 30 domén odmítlo běžného HTTP klienta chybou 403. Tímto požadavkem nebyl ověřen přístup skutečných AI crawlerů.

Metodika a veřejná data

• Výběr: 30 známých českých e-shopových domén napříč obory a velikostmi. Jde o účelový, nikoli náhodný ani reprezentativní vzorek, čísla popisují tenhle vzorek, ne celý trh.
• Kdy a čím: 22. srpna 2026, jeden HTTP požadavek na soubor a doménu, běžný prohlížečový User-Agent, pauza mezi doménami.
• Co se měřilo: robots.txt (pravidla pro 11 AI agentů), llms.txt (status a skutečný typ obsahu), homepage HTML (typy JSON-LD, počet H1, meta description, canonical, Open Graph, hreflang).
• Omezení: statické načtení HTML bez spuštění JavaScriptu, takže JSON-LD vkládané až skriptem se nemuselo započítat. Domény, které vrátily 403, jsou z příslušných agregací vyloučené. Měření je jednorázový snímek, ne dlouhodobé sledování.
• Sledovaní agenti: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider, Applebot-Extended, meta-externalagent, Amazonbot.

Stáhnout anonymizovaný agregovaný dataset v CSV. Soubor obsahuje 30 metrik s čitatelem, jmenovatelem a metodickou poznámkou; neobsahuje názvy jednotlivých e-shopů ani přiřazení hodnot ke konkrétní doméně.

Zjištění 1: explicitní zmínku AI agentů má 5 z 25 souborů

Agregovaný dataset uvádí explicitní zmínku ClaudeBot u 4 z 25 domén a GPTBot u 3 z 25. U CCBot uvádí 2 úplné blokace. Počet zmínek a počet blokací jsou různé metriky; neskládám z nich společný žebříček.

Bez odpovídající agent-specifické skupiny se podle RFC 9309 použije odpovídající obecná skupina User-agent: *, pokud existuje. Z nalezených jmen tedy nelze určit záměr provozovatele ani celkovou dostupnost webu. Výslovné povolení konkrétního robota také nezaručuje zařazení do AI odpovědi.

Zjištění 2: polovina nalezených llms.txt nejsou soubory

Soubor llms.txt (textový přehled webu určený jazykovým modelům) vrátil status 200 u osmi domén. Když jsem se ale podíval na typ obsahu, jen čtyři z nich skutečně vracely text. Zbylé čtyři poslaly HTML stránku aplikace, server odpověděl „v pořádku“, ale obsahem byl web, ne soubor.

Tuhle chybu znám důvěrně: měl jsem ji na vlastním webu a našel jsem ji ten samý den. Vzniká tím, že směrovací vrstva frameworku zachytí i požadavek na statický soubor a vrátí místo něj stránku. Kontrola HTTP statusu ji neodhalí, musí se ověřit Content-Type.

llms.txt je dobrovolný návrh, nikoli podmínka AI citace. Google uvádí, že pro své AI funkce nevyžaduje nové AI textové soubory. Tento test ověřoval stav a typ vráceného obsahu; neměřil, zda některá AI služba soubor použila.

Zjištění 3: v počátečním HTML části homepage chybí JSON-LD

Z 23 homepage, které šlo přečíst:

V počátečním HTML sedmi homepage se JSON-LD nenašlo. To neprokazuje absenci jiných formátů strukturovaných dat ani dat vložených JavaScriptem a nic to neříká o produktových podstránkách. JSON-LD může jednoznačně popsat viditelný obsah, ale není univerzální podmínkou AI citace. Přítomnost typu Product na homepage také není obecný požadavek pro každý e-shop.

Zjištění 4: základy webu nejsou samozřejmost ani u velkých

V počátečním HTML přibližně poloviny vzorku se nenašel canonical. To samo neprokazuje duplicitní indexaci; Google může kanonickou adresu vybrat i bez této značky. Zde nebyly zkoumány produktové URL, HTTP hlavičky ani stav v Search Console. Ani chybějící hreflang není chyba, pokud web nemá příslušné jazykové či regionální varianty.

Zjištění 5: běžný HTTP klient narazil na 403

Šest z třiceti domén odmítlo běžný HTTP požadavek chybou 403. Test nepoužil síťovou identitu ověřeného AI robota a neověřoval jeho skutečné návštěvy v serverových logách. CDN může rozlišovat IP adresy, ověřené boty a další charakteristiky požadavku. Výsledek tohoto klienta proto nelze přenést na skutečné AI crawlery.

Pro ověření konkrétního vyhledávacího robota zkontrolujte robots.txt, pravidla CDN/hostingu a jeho doložené návštěvy. OpenAI rozlišuje povolení OAI-Searchbot a průchod jeho publikovaných IP adres. Není nutné plošně vypínat ochranu webu.

Co z toho plyne pro provozovatele e-shopu

1. Zkontrolujte konkrétní i obecné skupiny v robots.txt. Rozlišujte trénovací roboty, vyhledávací roboty a požadavky vyvolané uživatelem.
2. Ověřte status, hlavičky i obsah. Odpověď 200 s HTML neprokazuje existenci zamýšleného textového přehledu.
3. Strukturovaná data přizpůsobte konkrétní stránce. Musí odpovídat viditelným a pravdivým údajům.
4. Indexaci kontrolujte na skutečných URL. Samotný počet H1 či chybějící značka na homepage není celkový SEO audit.
5. Přístup robota ověřujte samostatně. Jediný běžný HTTP požadavek nestačí k verdiktu o všech AI službách.

Pokud tohle chcete mít zkontrolované a nastavené na svém webu, přesně to řeším v SEO péči a auditech a u e-shopů v rámci e-shopu na míru.

Nejčastější otázky

Kolik českých e-shopů blokuje AI crawlery?

Ve vzorku 30 domén (25 s čitelným robots.txt) blokují aspoň jednoho AI crawlera úplně dva e-shopy. Nějaké pravidlo pro AI agenty má v robots.txt pět z nich. Dalších dvacet je výslovně nezmiňuje. Z toho nelze odvodit povolený přístup: použít se mohou obecné skupiny i ochrana hostingu.

Má smysl mít llms.txt?

Jde o volitelný experiment, nikoli doloženou vstupenku do AI výsledků. Google pro AI funkce takový nový soubor nevyžaduje. Pokud jej nabízíte, ověřte skutečný obsah; v tomto měření polovina odpovědí 200 na této cestě vracela HTML místo textového přehledu.

Jak poznám, že můj llms.txt nebo robots.txt vrací HTML?

Zkontrolujte stav, hlavičky i tělo stejného GET požadavku, například curl -sS -D - https://vasedomena.cz/llms.txt. Očekávejte textový přehled, nikoli HTML stránky. Samotná hlavička Content-Type ani stav 200 nejsou důkazem správného obsahu.

Které JSON-LD typy má e-shop mít?

Typy volte podle obsahu: Organization pro identitu firmy, WebSite pro web a vhodný typ Product na stránce konkrétního produktu; BreadcrumbList pro zobrazenou navigační cestu. Nejde o povinný balík pro každou homepage ani o záruku rozšířeného výsledku nebo AI citace. Tabulka výše pouze popisuje nalezené typy v počátečním HTML.

Je vzorek 30 e-shopů reprezentativní?

Není. Jde o účelový výběr, který popisuje jen zkoumané domény v uvedený den. Agregovaný CSV umožňuje ověřit uvedené součty a jmenovatele; bez původních domén a odpovědí neumožňuje nezávisle zopakovat totožný vzorek. Stejný postup lze použít na vlastní výběr.

Zdroje a odkazy

• Anonymizovaný agregovaný dataset (CSV), 30 metrik z tohoto měření

• Předchozí měření 21 českých e-shopů, obsah, rychlost a soubory webu, srpen 2026

• Google Search Central: robots.txt, jak fungují pravidla pro roboty

• Google-Extended v nápovědě Googlu, přehled Google crawlerů včetně AI

• RFC 9309: skupiny User-agent a obecná pravidla

• OpenAI: přístup webu pro ChatGPT Search

• Google: AI features and your website

• Google: volba kanonické URL

Interpretace a technické zdroje ověřeny 2. října 2026. Nové měření domén neproběhlo; původní počty a datum měření zůstávají zachované.