Robots txt készítés | keresőrobotok
Mi a robots.txt fájl szerepe a weblap és keresőrobotok közötti kommunikációban?
Korábban a [robots.txt] fájl arra szolgált, hogy a keresőrobotok számára közöljük, hogy melyik fájlt vagy almappát akarjuk kizárni a weblap indexelésekor. A kereső rendszerek közül a Google, MSN, Ask kezeli a [robots.txt] fájlokkal megadható új információt.
Az újdonság a robots.txt példa első sorában van. Így közölhető a sitemap elérési útvonala:
SITEMAP: http://www.valamipelda.hu/sitemap.xml User-agent: * Disallow: /mappa1/file1.php Disallow: /mappa2/file2.html Disallow: /mappa3/file3.cgi Disallow: /mappa4/
Fájlok kizárása az indexelésből
A disallow paranccsal adható a robotok értésére: ne indexeljék be a megjelőlt fájlokat. Lásd fenti példa.
Robots.txt ellenőrző eszköz
Kiváló ingyenes eszköz robots.txt fájl vizsgálatához:
tool.motoricerca.info/robots-checker.phtml
Nem mindegyik validator kezeli az új sitemap szintakszist. Előfordulhat, hogy tévedésből hibát jelez némelyik validator.
A nyomtatható verzió fehér háttérrel fekete betükkel - képek és formázás nélkül - lesz kinyomtatva.
Az internet felhasználók zöme egyáltalán nem találkozik a robots.txt fájllal. A webszerkesztők is ritkán, pedig a robotokkal történő kommunikáció szempontjából fontos ez a fájl.
Utolsó frissítés dátuma: 2010-05-20.