Plik robots txt

Plik robots.txt jest bardzo ważnym narzędziem wykorzystywanym do określenie zasobów naszej strony które chcemy udostępnić robotom internetowym.
Roboty (boty) są to skrypty których zadaniem jest zbieranie informacji o zawartości internetu ( na tej podstawie budowany jest index wyszukiwarek ).

Być może brzmi to dosyć poważne ale sama idea jest bardzo prosta, dzięki plikowi robots.txt możemy określić że np. pliki z rozszerzeniem *.php nie będą pobierane przez boty.
Dzięki temu do indeksu np. google nie trafią linki bezpośrednie plików php i nasze wyniki w wyszukiwarce będą korzystniejsze.

Przykładowy plik robots.txt, wpuszczające wszelkie rodzaje robotów (botów) oraz zabraniający pobierania podstron z katalogu /admin/, wygląda następująco :

User-agent: *
Disallow: /admin/




Czy odpowiedź była pomocna?

 Wydrukuj ten artykuł

Przeczytaj również

Strona tylko po SSL

Strona tylko po SSL oznacza że wszystkie zapytania do Twojej strony www będą przekierowane na...

Instalacja WordPress

WordPress jako system zarządzania treścią strony www jest jednym z najpopularnieszych darmowych...

Jak dodać stronę www do Google

Google.com to jedna z najwięszych wyszukiwarek stron www na świecie. Warto aby nasza strona...

Google Maps jak dodać stronę www

Mapy Google pozwalają na umieszczanie na nich informacji o lokalizacji naszej firmy, dzięki temu...

Bing.com Yahoo.com dodanie strony www

Gdy już mamy wybrane konto hostingowe na którym zainstalowaliśmy swoją stronę www dodaliśmy...

Powered by WHMCompleteSolution