Jak wygenerować plik robots.txt i umieścić go na serwerze?

Plik robots.txt jest zestawem reguł, na podstawie których jest indeksowana Twoja witryna.
To instrukcja, dla robotów skanujących, które sprawdzają i analizują strony WWW, aby w konsekwencji umieścić informacje o nich w wyszukiwarce. Plik robots.txt jest istotny z punktu widzenia rozbudowanych stron, generujących dużą ilość dynamicznych treści. Jeżeli witryna posiada kilkadziesiąt, a nawet kilkaset podstron, plik robots.txt instruuje roboty skanujące, które z podstron mają nie odwiedzać. Jest on przeciwieństwem mapy witryny (sitemapy), która natomiast wskazuje adresy, które chcemy, aby robot indeksujący odwiedzał.

Plik robots.txt umieszczamy pod adresem Twojadomena.pl/robots.txt.

Co zawiera plik robots.txt

To w jaki sposób roboty skanujące Twoja witrynę mają działać, określasz za pomocą 2 podstawowych reguł. Plik robots.txt musi zawierać co najmniej 1 regułę. Każda reguła zezwala bądź blokuje dostęp określonego robota do wskazanego pliku w Twojej witrynie.

“User-agent” – wskazujesz reguły dla określonych botów. Poprzez nazwę „User-agent” rozumiemy nazwę identyfikującą bota wyszukiwarki, np. Bing czy Google.
W przypadku nazwy User-agent:* – określasz regułę dla wszystkich botów wyszukiwarki.

• “Disallow” – ograniczasz działanie botów, za pomocą tej reguły określasz do którego folderu lub pliku nie powinny mieć dostępu.
  
  

User-agent: *
Disallow: /photo/

Taka komenda oznacza, że wszystkie roboty skanujące nie mają dostępu do folderu o nazwie „photo”.

• “Allow” –zezwalasz na dostęp do określonego folderu podrzędnego lub rozszerzenia, znajdującego się w folderze nadrzędnym
  
  

User-agent: *

Allow: /

Taka komenda oznacza, że zezwalasz wszystkim robotom skanującym na indeksację witryny.

Disallow: /docs/
Allow: /docs/plik.pdf

Taka komenda powoduje, że blokujemy folder „docs”, ale zostawiamy możliwość dostępu do pliku „pdf”.

Jak wygenerować robots.txt?

Przygotuj swój plik. Przejdź poniższe kroki:

1. Utwórz plik o nazwie robots.txt
Możesz zrobić to ręcznie, używając edytora tekstowego (np. notatnika czy TextEdit). Umieść go w katalogu głównym swojej witryny (/public_html/). Podczas zapisywania pliku – jeżeli będziesz musiał określisz formę kodowania – określ jako UTF-8.

2. Dodaj reguły do pliku
Omówiliśmy wcześniej reguły, które instruują roboty co do indeksacji witryny. Plik robots.txt musi zawierać co najmniej 1 regułę.

3. Prześlij plik robots.txt na swój serwer
W tym celu musisz zalogować się na swoje konto FTP i umieścić przygotowany wcześniej plik.
>> Sprawdź jak to zrobić

4. Przetestuj działanie
Sprawdź czy plik robots.txt jest publicznie dostępny. W tym celu w przeglądarce przejdź do lokalizacji pliku robots.txt.: https://Twojadomena.pl/robots.txt. Jeśli widzisz zawartość pliku robots.txt, możesz przetestować znaczniki.
Znaczniki sprawdzisz w Google Search Console.