Какво е robots.txt ?

Какво е robots.txt ?

Това е файл, съвсем обикновен текстов файл, може да се направи дори и с вградения Notepad в Windows.


Името на файла

Правилно изписване на името на файла е - robots
Не го изписвайте така: Robots, ROBOTS, RobotS или всякакви подобно комбинации, изпишете името изцяло с малки букви на латиница.

Разположение на файла

Запомнете, този файл се поставя в основната директория!
например ако Вашия сайт е domain.com

достъпа до този файл ще е посредством такъв адрес - http://domain.com/robots.txt
НЕ си правете експерименти да го поставяте в различни поддиректории, например http://domain.com/dir/robots.txt
просото защото няма да има абсолютно никакъв смисъл и си губи целта за която ще бъде поставян!


Предназначение на robots.txt

Предназначението на файла е когато роботите (от тук идва името на файла) на търсещите машини (google, yahoo, bing и много други) минават да индексират сайта Ви да знаят кое да НЕ четат (индексират).
Освен да забраните за даден/и файл/ове или папка/и да се индексират от търсещите машини, вие може да окажете точно кои машини да не индексиат съдържанието което зададете!

До сега разбрахме: какво е предназначението, как се прави файла и къде се поставя, но какво да напишем вътре ?

Попълване на на robots.txt

Ако искате да забраните индексацията от всички търсещи машини пишете:

User-Agent: *

Ако искате да забраните индексацията само от Google трябва да зададете на мястото на * името на робота, или в случая:

User-Agent: Googlebot

как да забраним индексацията на дадена папка ?

ползва се следния вид:

Disallow: пътя до файла или папката

Пример: ако искате да забраните индексацията на папка documents и тя се намира в главната директория, пишете:

Disallow: /documents/

Така надолу може да избройте всички файлове и папки които забранявате за индексация.

Може да забраните индексацията на файлове по тип:

например:

Disallow: *.css

така няма да индексира всички файлове с разширение .css

Следва продължение...