Menu

Robots.txt

Robots.txt je textový soubor, skrze který informujeme vyhledávacího robota (Google, Seznam, apod.) o tom, jaké stránky (a podstránky) může a jaké naopak nesmí procházet. Tento soubor se umisťuje do kořenového adresáře webových stránek a následně se nachází na stránkách www.vase-domena.cz/robots.txt. Tento soubor slouží pro vyhledávací roboty jako základní zápis pravidel procházení webem. Chceme-li důsledně zakázat procházení a indexování konkrétní stránky, je vhodné kromě pravidla v souboru robots.txt využít ještě zákaz procházení v meta tagu robots ve zdrojovém HTML kódu přímo na konkrétní stránce. Pro Seznam.cz je navíc vhodné do souboru robots.txt vložit URL odkaz vedoucí na mapu stránek sitemap.xml.

29. září. 2016