Plik robots txt

Plik robots.txt jest bardzo ważnym narzędziem wykorzystywanym do określenie zasobów naszej strony które chcemy udostępnić robotom internetowym.
Roboty (boty) są to skrypty których zadaniem jest zbieranie informacji o zawartości internetu ( na tej podstawie budowany jest index wyszukiwarek ).

Być może brzmi to dosyć poważne ale sama idea jest bardzo prosta, dzięki plikowi robots.txt możemy określić że np. pliki z rozszerzeniem *.php nie będą pobierane przez boty.
Dzięki temu do indeksu np. google nie trafią linki bezpośrednie plików php i nasze wyniki w wyszukiwarce będą korzystniejsze.

Przykładowy plik robots.txt, wpuszczające wszelkie rodzaje robotów (botów) oraz zabraniający pobierania podstron z katalogu /admin/, wygląda następująco :

User-agent: *
Disallow: /admin/




Czy odpowiedź była pomocna?

 Wydrukuj ten artykuł

Przeczytaj również

Jak dodać stronę www do Google

Google.com to jedna z najwięszych wyszukiwarek stron www na świecie. Warto aby nasza strona...

Sitemap czyli mapa strony www

Mapa witryny jest to spis wszystkich dostępnych podstron www (tych które chcemy zgłosić do...

Strona tylko po SSL

Strona tylko po SSL oznacza że wszystkie zapytania do Twojej strony www będą przekierowane na...

Meta Tag

Meta Tag czyli zbiór znaczników w sekcji nagłówkowej dokumentu których używamy do opisu...

Bing.com Yahoo.com dodanie strony www

Gdy już mamy wybrane konto hostingowe na którym zainstalowaliśmy swoją stronę www dodaliśmy...

Powered by WHMCompleteSolution