Warning: Use of undefined constant ĹWP_POST_REVISIONSĺ - assumed 'ĹWP_POST_REVISIONSĺ' (this will throw an Error in a future version of PHP) in /home/ittechtf/domains/ittechblog.pl/public_html/wp-config.php on line 72
Nie daj si─Ö, stosuj robots.txt | IT Tech Blog

Nie daj si─Ö, stosuj robots.txt

wordpress-seo-plugin

Ostatnio wzi─ů┼éem si─Ö za analiz─Ö ruchu wyszukiwarek co nieuchronnie prowadzi do konfiguracji w pliku robots.txt. Otworzy┼éem plik /robots.txt z kilku najwi─Ökszych blog├│w w Polsce … i okaza┼éo si─Ö, ┼╝e nie maj─ů nic skonfigurowanego. Mediafun nawet nie ma w og├│le pliku na serwerze. Antyweb ma domy┼Ťlny wpis. I tak mo┼╝na by jeszcze troch─Ö powymienia─ç ;) Z polskiej czo┼é├│wki pozytywnie wyr├│┼╝nia si─Ö webfan.pl i tomasz.topa.pl oraz oczywi┼Ťcie wpninja.pl.

Dlaczego w og├│le wzi─ů┼éem si─Ö za ten temat? Dzisiaj analizowa┼éem swojego bloga i dzia┼éanie robot├│w na stronie Narz─Ödzi Google dla Webmaster├│w i zauwa┼╝y┼éem, ┼╝e mam bardzo restrykcyjny plik robots.txt, kt├│ry wygl─ůda┼é mniej wi─Öcej tak:

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://ittechblog.pl/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

User-agent: *
# disallow files in /cgi-bin
Disallow: /cgi-bin/
Disallow: /comments/
Disallow: /z/j/
Disallow: /z/c/
# disallow all files ending in .php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
#disallow all files in /wp- directorys
Disallow: /wp-*/
# disallow all files with ? in url
Disallow: /*?
# disallow any files that are stats related
Disallow: /stats*
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /about/feed/
Disallow: /about/trackback/
Disallow: /contact/
Disallow: /tag
Disallow: /docs*
Disallow: /manual*
Disallow: /category/uncategorized*

Obecnie mam bardziej liberalny, co mo┼╝ecie sami sprawdzi─ç :)

Co dziwne, wiele blog├│w traktuj─ůcych o SEO, pozycjonowaniu czy optymalizacji WP i og├│lnie stron nie ma zdefiniowanego w og├│le pliku robots.txt.

Zaznaczam, ┼╝e nie jest to wpis maj─ůcy na celu „wypunktowa─ç” braki w innych blogach a jedynie ma nakre┼Ťli─ç obszary do poprawy. Dobry plik robots.txt u┼éatwi i nam ┼╝ycie (ograniczy ruch i obci─ů┼╝enie serwera, zabezpieczy materia┼éy poufne, zwi─Ökszy bezpiecze┼ä┼Ťtwo skryptu) i wyszukiwarkom (u┼éatwiaj─ůc im ┼╝ycie poprawiamy im „humor” co mo┼╝e si─Ö odbi─ç w naszych pozycjach w wynikach wyszukiwania).

O samym robots.txt czy warto i dlaczego poczytajcie (do┼Ť─ç stary ale nadal aktualny) wpis http://webfan.pl/robots-txt.html i na zak─ůsk─Ö wpis o SEO na sprawnymarketing.pl.

Macie jakie┼Ť inne propozycje, co powinien zawiera─ç idealny plik robots.txt?