« »
- Dla Webmastera
- Czyszczenie kodu HTML
- Generator hasła
- Keywords generator
- Konwerter znaków
- Łańcuch znaków
- Meta znaczniki
- Robots.txt Generator
- Sortowanie tekstu
- Zmiana znaków
- Dla Internauty
- Reklama WWW
- Alfabet morsa
- Czas przesyłania pliku
- Dzisiaj
- Jutro
- Giełda
- Info o Tobie
- Kalkulator
- Konwersja liczb
- Konwerter IP - Domena
- Kursy walut
- Lotto
- Miary długości
- Miary masy
- Notowania giełdowe
- Odległości miast
- Pogoda
- Program TV
- Przelicznik wielkości
- Status domeny
- Status Gadu-Gadu
- Status ICQ
- Status Spik
- Status Tlen
- Strefy czasowe
- Szyfrowanie ROT13
- Translator
- Wielkość pliku online
- Wschód - zachód Słońca
- Wyliczanie dni
Kod pliku Robots.txt
Wygenerowany kod należy skopiować do pliku i zapisać go pod nazwą robots.txt, a następnie umieścić w katalogu głównym Twojej strony internetowej.
Adres strony
Należy podać adres strony w postaci: http://www.webmaster.net.pl
Stronę mogą indeksować
Wybierz, czy chcesz aby Twoją stronę mogły indeksować wszystkie boty, czy też chcesz zablokować jakiekolwiek indeksowanie.
Z wyjątkiem
Należy wpisać jeden pod drugim, każdy w swojej linii, pełne nazwy botów, którym chcesz zablokować dostęp do całej strony. Najpopularniejsze boty są spisane poniżej. Inne możesz znaleźć na stronach wyszukiwarek oraz w Twoich logach serwera/statystykach.
- Bilbo/1.2+WAP
- Crawler V 0.2.1 admin@crawler.de
- DonQuichote/1.2a-unix Mode/Get
- Googlebot/2.0 beta (googlebot(at)googlebot.com)
- Gulliver/1.3
- Lycos_Spider_(T-Rex)
- Scooter/1.0
- Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
- libwww-perl/5.47
- Bilbo/1.2+WAP
- Crawler V 0.2.1 admin@crawler.de
- DonQuichote/1.2a-unix Mode/Get
- Googlebot/2.0 beta (googlebot(at)googlebot.com)
- Gulliver/1.3
- Lycos_Spider_(T-Rex)
- Scooter/1.0
- Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
- libwww-perl/5.47
Nie indeksuj
Tutaj można wpisać, jeden pod drugim i każdą w swojej linii (ważne) ścieżki katalogów i plików, do których chcesz zablokować dostęp wszystkim botom, np.:
- /cgi-bin/
- /katalog/forum/
- /dir/plik.html
- /cgi-bin/
- /katalog/forum/
- /dir/plik.html
Webmaster.net.pl 2025