Nadchodzi BingBot – crawler dla wyszukiwarki Bing

W lipcu tego roku na blogu wyszukiwarki Bing zapowiedziano nadejście nowego robota dla wyszukiwarki Bing, który ma zastąpić wysłużonego i niezbyt dobrego crawlera MSN. Microsoft pracuje nad wprowadzeniem nowego pająka (BingBot) do sieci, możemy się go  spodziewać już 1 października tego roku.

Od 1 października w naszych server logach zagości taki oto wpis:

Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

Stary “header”, który wygląda tak:

From: msnbot(at)microsoft.com

zmieni się w:

From: bingbot(at)microsoft.com

W krótkim czasie roboty MSN zostaną całkowicie wycofane. Wprowadzenie BingBot pokryje się w czasie z szybkim wycofywaniem MSNBota, więc webmasterzy nie odczują nawet efektów zmiany crawlera na nowszego.

Ważne jest, aby sprawdzić plik robots.txt, metatagi <robots> i ustawienia nagłówków HTTP. Możliwe, że potrzebne będą pewne zmiany, aby nowy robot mógł zindeksować witrynę. Jeśli BingBot wykryje w pliku robots.txt dyrektywy dla MSNBota – nie będzie miał problemu z ich odczytaniem. Jeśli Wasza strona posiada skonfigurowany plik .httacces należy go przejrzeć i uaktualnić pod kątem BingBota.

Jeśli blokowaliście Bing crawlera (MSNBot), ale wpuszczaliście na swoją stronę robota Yahoo, to aby być widocznym w wynikach wyszukiwania Yahoo należy dać dostęp BingBotowi. Pamiętajcie, że Yahoo testował Binga i teraz używa w pewnym stopniu silnika wyszukiwarki od Microsoftu.

Adresy IP pajączków pozostają niezmienione. Microsoft zaleca rejestrację w Bing webmaster Tools, dzięki któremu mamy możliwość dodawania i blokowania adresów URL, wysyłanie map stron, czy sprawdzanie problemów, na które natknęły się roboty indeksujące podczas odwiedzin naszej strony.