← Zpět na srovnání

robots.txt: jak jej nastavit bez skrytí důležitých stránek

Soubor robots.txt říká crawlerům, které cesty smějí procházet. Není to heslo, firewall ani nástroj pro odstranění stránky z vyhledávání.

Robots.txt je obyčejný textový soubor v kořeni konkrétního hostu, typicky na adrese https://example.cz/robots.txt. Robot si jej načte před procházením webu a podle pravidel se rozhodne, o které cesty požádá. Formát popisuje RFC 9309; praktické chování Googlebotu vysvětluje také Google Search Central.

Kam soubor uložit

Soubor musí být dostupný přímo v dokumentovém kořeni domény, ne ve složce šablony, administrace nebo na jiné subdoméně. Pravidla z https://www.example.cz/robots.txt se nepřenášejí na https://example.cz ani na https://shop.example.cz; každý host potřebuje vlastní soubor.

U hostingu si nejdřív ověřte, která složka je document root pro danou doménu. V administraci webhostingu Gigaserver i u jiných poskytovatelů to bývá výchozí adresář webu, ale přesný název se může lišit. Po nahrání otevřete veřejnou URL v anonymním okně a zkontrolujte odpověď serveru.

Bezpečný výchozí obsah

Malý veřejný web často nepotřebuje složitá omezení. Následující příklad umožní běžné procházení a ukáže crawlerům adresu XML sitemapy:

User-agent: *
Allow: /

Sitemap: https://example.cz/sitemap.xml

Řádek Sitemap není přístupové pravidlo, ale praktický odkaz na seznam veřejných URL. U CMS zkontrolujte, že sitemapu skutečně generuje a že vrací veřejný obsah, ne testovací nebo přihlašovací stránky.

Kdy použít Disallow

Disallow dává smysl pro cesty, které nemají být crawlery zbytečně stahované: interní vyhledávání, stránkování s parametry nebo technické náhledy. Pravidlo vždy pište co nejužší. Například:

User-agent: *
Disallow: /vyhledavani/
Disallow: /kosik/
Disallow: /admin/

Nezakazujte naslepo složky s CSS, JavaScriptem nebo obrázky. Vyhledávač je může potřebovat k vykreslení a pochopení stránky. Před nasazením také ověřte, zda cesta neobsahuje běžné články, soubory ke stažení nebo náhodou celý web.

Robots.txt nechrání neveřejná data

Zakázaná URL může být stále známá z odkazů, historie nebo jiných zdrojů. Robots.txt jen žádá spolupracující crawler, aby cestu neprocházel; nikomu nebrání URL otevřít. Citlivé soubory, zálohy, testovací rozhraní a administraci chraňte přihlášením, správnými právy nebo omezením na úrovni serveru. Pro odstranění již indexované veřejné stránky řešte obsah, stavovou odpověď a pokyny pro indexaci, ne pouze Disallow.

Kontrola po změně

  1. Otevřete přesnou adresu /robots.txt na každém používaném hostu.
  2. Zkontrolujte HTTP 200, prostý text a UTF-8 bez přesměrování na přihlášení.
  3. Projďte pravidla pro hlavní stránky, obrázky a soubory, které mají zůstat veřejné.
  4. Ověřte URL sitemapy a její obsah.
  5. Při větší změně využijte nástroj pro testování robots.txt ve správě vyhledávače.

Praktické shrnutí

Robots.txt držte krátký, konkrétní a uložený v kořeni každé domény či subdomény. Použijte jej pro řízení crawl budgetu a technických cest, ne pro zabezpečení. Po každé úpravě ověřte veřejnou URL, sitemapu a několik důležitých stránek.