Plik robots txt

Plik robots.txt jest bardzo ważnym narzędziem wykorzystywanym do określenie zasobów naszej strony które chcemy udostępnić robotom internetowym.
Roboty (boty) są to skrypty których zadaniem jest zbieranie informacji o zawartości internetu ( na tej podstawie budowany jest index wyszukiwarek ).

Być może brzmi to dosyć poważne ale sama idea jest bardzo prosta, dzięki plikowi robots.txt możemy określić że np. pliki z rozszerzeniem *.php nie będą pobierane przez boty.
Dzięki temu do indeksu np. google nie trafią linki bezpośrednie plików php i nasze wyniki w wyszukiwarce będą korzystniejsze.

Przykładowy plik robots.txt, wpuszczające wszelkie rodzaje robotów (botów) oraz zabraniający pobierania podstron z katalogu /admin/, wygląda następująco :

User-agent: *
Disallow: /admin/




Czy odpowiedź była pomocna?

 Wydrukuj ten artykuł

Przeczytaj również

Jak dodać stronę www do Google

Google.com to jedna z najwięszych wyszukiwarek stron www na świecie. Warto aby nasza strona...

Instalacja WordPress

WordPress jako system zarządzania treścią strony www jest jednym z najpopularnieszych darmowych...

Strona tylko po SSL

Strona tylko po SSL oznacza że wszystkie zapytania do Twojej strony www będą przekierowane na...

Meta Tag

Meta Tag czyli zbiór znaczników w sekcji nagłówkowej dokumentu których używamy do opisu...

Sitemap czyli mapa strony www

Mapa witryny jest to spis wszystkich dostępnych podstron www (tych które chcemy zgłosić do...

Powered by WHMCompleteSolution