Komentarze do: Nie daj się, stosuj robots.txt http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/ IT Tech Blog - Subiektywne spojrzenie na rynek nowości. Ciekawe programy, sprawdzone porady, testy sprzętu i najnowszych gadżetów. Wszystko co interesujące w bieżących wydarzeniach na rynku IT i nie tylko. Wed, 23 May 2012 20:13:00 +0000 hourly 1 http://wordpress.org/?v=3.3.2 Autor: Menedżer http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-3045 Menedżer Tue, 10 Mar 2009 19:40:22 +0000 http://ittechblog.pl/?p=1912#comment-3045 Podstawa - jeśli nie skonfigurujesz dobrze robots.txt, zapomnij o dobrym ruchu z G. Podstawa — jeśli nie skonfigurujesz dobrze robots.txt, zapomnij o dobrym ruchu z G.

]]> Autor: Menedżer http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9124 Menedżer Tue, 10 Mar 2009 19:40:00 +0000 http://ittechblog.pl/?p=1912#comment-9124 Podstawa - jeśli nie skonfigurujesz dobrze robots.txt, zapomnij o dobrym ruchu z G. Podstawa — jeśli nie skonfigurujesz dobrze robots.txt, zapomnij o dobrym ruchu z G.

]]> Autor: Krótkie podsumowanie: styczeń 2009 http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2809 Krótkie podsumowanie: styczeń 2009 Tue, 03 Feb 2009 22:17:59 +0000 http://ittechblog.pl/?p=1912#comment-2809 [...] Nie daj się, stosuj robots.txt [...] […] Nie daj się, stosuj robots.txt […]

]]> Autor: BlueMan http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2767 BlueMan Fri, 30 Jan 2009 22:17:00 +0000 http://ittechblog.pl/?p=1912#comment-2767 Ja też posiadam ten pliczek. Jak się go nie posiada to spoooooro errorów apache zapisuje do logów ;) Ja też posiadam ten pliczek. Jak się go nie posiada to spoooooro errorów apache zapisuje do logów ;)

]]> Autor: BlueMan http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9123 BlueMan Fri, 30 Jan 2009 22:17:00 +0000 http://ittechblog.pl/?p=1912#comment-9123 Ja też posiadam ten pliczek. Jak się go nie posiada to spoooooro errorów apache zapisuje do logów ;) Ja też posiadam ten pliczek. Jak się go nie posiada to spoooooro errorów apache zapisuje do logów ;)

]]> Autor: Jagbyś http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2765 Jagbyś Fri, 30 Jan 2009 18:35:54 +0000 http://ittechblog.pl/?p=1912#comment-2765 O nawet i ja posiadam ten pliczek, być może nie wypasiony, jednak blokuje to co ma blokować. ;) O nawet i ja posiadam ten pliczek, być może nie wypasiony, jednak blokuje to co ma blokować. ;)

]]> Autor: Jagbyś http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9122 Jagbyś Fri, 30 Jan 2009 18:35:00 +0000 http://ittechblog.pl/?p=1912#comment-9122 O nawet i ja posiadam ten pliczek, być może nie wypasiony, jednak blokuje to co ma blokować. ;) O nawet i ja posiadam ten pliczek, być może nie wypasiony, jednak blokuje to co ma blokować. ;)

]]> Autor: aniec2 http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2762 aniec2 Fri, 30 Jan 2009 08:30:29 +0000 http://ittechblog.pl/?p=1912#comment-2762 Odpowiadam: nie trzeba edytować, google sobie samemu z tym świetnie radzi. Odpowiadam: nie trzeba edytować, google sobie samemu z tym świetnie radzi.

]]> Autor: aniec2 http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9121 aniec2 Fri, 30 Jan 2009 08:30:00 +0000 http://ittechblog.pl/?p=1912#comment-9121 Odpowiadam: nie trzeba edytować, google sobie samemu z tym świetnie radzi. Odpowiadam: nie trzeba edytować, google sobie samemu z tym świetnie radzi.

]]> Autor: Jacek Krużycki http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2761 Jacek Krużycki Thu, 29 Jan 2009 23:16:22 +0000 http://ittechblog.pl/?p=1912#comment-2761 Ja w robots.txt blokuję zakresy IP jakichś dziwnych crawlerów :) Ja w robots.txt blokuję zakresy IP jakichś dziwnych crawlerów :)

]]> Autor: Jacek Krużycki http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9120 Jacek Krużycki Thu, 29 Jan 2009 23:16:00 +0000 http://ittechblog.pl/?p=1912#comment-9120 Ja w robots.txt blokuję zakresy IP jakichś dziwnych crawlerów :) Ja w robots.txt blokuję zakresy IP jakichś dziwnych crawlerów :)

]]> Autor: aniec2 http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2759 aniec2 Thu, 29 Jan 2009 22:44:05 +0000 http://ittechblog.pl/?p=1912#comment-2759 Zmieniłem, bo nie wskazywał mi stemap'y (dziwna odmiana:) Oby więcej takich artykułów! Pytanie: Jeśli zmieniłem plik robots.txt to edytuje też odpowiednią zakładkę w narzędziach google'a czy nie trzeba wykonywać żadnej czynności? Zmieniłem, bo nie wskazywał mi stemap’y (dziwna odmiana:)
Oby więcej takich artykułów!

Pytanie: Jeśli zmieniłem plik robots.txt to edytuje też odpowiednią zakładkę w narzędziach google’a czy nie trzeba wykonywać żadnej czynności?

]]> Autor: aniec2 http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9119 aniec2 Thu, 29 Jan 2009 22:44:00 +0000 http://ittechblog.pl/?p=1912#comment-9119 Zmieniłem, bo nie wskazywał mi stemap'y (dziwna odmiana:) Oby więcej takich artykułów! Pytanie: Jeśli zmieniłem plik robots.txt to edytuje też odpowiednią zakładkę w narzędziach google'a czy nie trzeba wykonywać żadnej czynności? Zmieniłem, bo nie wskazywał mi stemap’y (dziwna odmiana:)
Oby więcej takich artykułów!

Pytanie: Jeśli zmieniłem plik robots.txt to edytuje też odpowiednią zakładkę w narzędziach google’a czy nie trzeba wykonywać żadnej czynności?

]]> Autor: Tomasz Fiedoruk http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2758 Tomasz Fiedoruk Thu, 29 Jan 2009 22:02:24 +0000 http://ittechblog.pl/?p=1912#comment-2758 Ale czemu taki skromny? http://marsjaninzmarsa.co.cc/robots.txt :D Ale czemu taki skromny? http://marsjaninzmarsa.co.cc/robots.txt :D

]]> Autor: iTomek http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9118 iTomek Thu, 29 Jan 2009 22:02:00 +0000 http://ittechblog.pl/?p=1912#comment-9118 Ale czemu taki skromny? http://marsjaninzmarsa.co.cc/robots.txt :D Ale czemu taki skromny? http://marsjaninzmarsa.co.cc/robots.txt :D

]]> Autor: marsjaninzmarsa http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2757 marsjaninzmarsa Thu, 29 Jan 2009 21:55:43 +0000 http://ittechblog.pl/?p=1912#comment-2757 A ja mam plik, nawet skonfigurowany. Co prawda sam w nim nie grzebałem, ale od czego są wtyczki? ;) A ja mam plik, nawet skonfigurowany. Co prawda sam w nim nie grzebałem, ale od czego są wtyczki? ;)

]]> Autor: marsjaninzmarsa http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9117 marsjaninzmarsa Thu, 29 Jan 2009 21:55:00 +0000 http://ittechblog.pl/?p=1912#comment-9117 A ja mam plik, nawet skonfigurowany. Co prawda sam w nim nie grzebałem, ale od czego są wtyczki? ;) A ja mam plik, nawet skonfigurowany. Co prawda sam w nim nie grzebałem, ale od czego są wtyczki? ;)

]]> Autor: Tomasz Fiedoruk http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2756 Tomasz Fiedoruk Thu, 29 Jan 2009 19:35:29 +0000 http://ittechblog.pl/?p=1912#comment-2756 A co powiecie o wtyczce http://yoast.com/wordpress/meta-robots-wordpress-plugin/ - zastanawiam się co warto w niej włączyć. Sądząc po opisach poszczególnych elementów to chyba wszystko ;) A co powiecie o wtyczce http://yoast.com/wordpress/meta-robots-wordpress-plugin/ — zastanawiam się co warto w niej włączyć. Sądząc po opisach poszczególnych elementów to chyba wszystko ;)

]]> Autor: iTomek http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-9116 iTomek Thu, 29 Jan 2009 19:35:00 +0000 http://ittechblog.pl/?p=1912#comment-9116 A co powiecie o wtyczce http://yoast.com/wordpress/meta-robots-wordpress-plugin/ - zastanawiam się co warto w niej włączyć. Sądząc po opisach poszczególnych elementów to chyba wszystko ;) A co powiecie o wtyczce http://yoast.com/wordpress/meta-robots-wordpress-plugin/ — zastanawiam się co warto w niej włączyć. Sądząc po opisach poszczególnych elementów to chyba wszystko ;)

]]> Autor: Tomasz Topa http://ittechblog.pl/2009/01/29/nie-daj-sie-stosuj-robots-txt/#comment-2755 Tomasz Topa Thu, 29 Jan 2009 19:30:53 +0000 http://ittechblog.pl/?p=1912#comment-2755 Robots.txt to przecież podstawa... wystarczy choćby pobieżny przegląd logów apache'a żeby zobaczyć, że prawie każda wizyta jakiegoś crawlera zaczyna się od pobrania tego pliku. W moim pliku jest niezbędne minimum, zablokowane foldery "systemowe" i link do sitemapy. Robots.txt to przecież podstawa… wystarczy choćby pobieżny przegląd logów apache’a żeby zobaczyć, że prawie każda wizyta jakiegoś crawlera zaczyna się od pobrania tego pliku.

W moim pliku jest niezbędne minimum, zablokowane foldery „systemowe” i link do sitemapy.

]]>