Robots.txt patří mezi nejdůležitější soubory na webu a podléhá mnoha pravidlům. Jedno z nich je jeho umístění v URL. Jak to je správně?
Soubor robots.txt musí v URL vždy následovat po prvním lomítku hned za top level doménou (třeba .cz). Tedy takzvaně v rootu. Například takto: https://domena.cz/robots.txt.
⚠️ Soubor umístěný v rámci URL v nějakém podadresáři robot vyhledávače nenajde! Případně pokud ho najde, tak ho bude ignorovat a nedojde k jeho zpracování. URL robots.txt také nesmí obsahovat koncové lomítko (tzv. trailing slash).
✅ Jak vypadá správná URL robots.txt:
https://domena.cz/robots.txthttps://www.domena.cz/robots.txthttps://blog.domena.cz/robots.txthttps://dalsi.sub.domena.cz/robots.txt
❌ Jak vypadá chybná URL robots.txt:
https://www.domena.cz/slozka/robots.txthttps://www.domena.cz/robots.txt/
💾 Fyzické umístění souboru?
Pro pokročilé! Na fyzickém umístění souboru na FTP úložišti nezáleží. Soubor se klidně může fyzicky nacházet v nějakém podadresáři. Například /ftp/domeny/domena.cz/www/soubory/ostatni/robots.txt. Soubor je pak možné dle potřeby „naroutovat“. Routing znamená nasměrování, respektive nadefinování cesty tak, aby se soubor na webu zobrazoval na správné URL. Routing můžete udělat například pomocí souborů .htaccess nebo nginx.conf v závislosti na typu serveru, který používáte.
Jedná se o mírně pokročilé techniky vhodné pro weby, které musí pracovat se složitější strukturou a správou souborů. A pro zkušenější webmastery, kteří podobné operace již zvládají. Pokud vám pojmy jako routing nebo .htaccess nic neříkají a neumíte s tím pracovat, tak nic neměňte.
V případě, že tvoříte nový soubor robots.txt, tak by mělo stačit ho jednoduše nahrát do hlavní složky vašeho webového adresáře. To je zpravidla tam, kde se nachází soubory jako index.php či index.html.
Závěrem
Většina webových řešení má robots.txt umístěný správně a není potřeba to nijak řešit. A pokud byste se náhodou rozhodli pro nějakou reorganizaci souborů na FTP, tak v ideálním případě lokaci souboru robots.txt neměňte. Případně požádejte o pomoc zkušenějšího webmastera.
