W lipcu tego roku na blogu wyszukiwarki Bing zapowiedziano nadejście nowego robota dla wyszukiwarki Bing, który ma zastąpić wysłużonego i niezbyt dobrego crawlera MSN. Microsoft pracuje nad wprowadzeniem nowego pająka (BingBot) do sieci, możemy się go spodziewać już 1 października tego roku.
Od 1 października w naszych server logach zagości taki oto wpis:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
Stary “header”, który wygląda tak:
From: msnbot(at)microsoft.com
zmieni się w:
From: bingbot(at)microsoft.com
W krótkim czasie roboty MSN zostaną całkowicie wycofane. Wprowadzenie BingBot pokryje się w czasie z szybkim wycofywaniem MSNBota, więc webmasterzy nie odczują nawet efektów zmiany crawlera na nowszego.
Ważne jest, aby sprawdzić plik robots.txt, metatagi <robots> i ustawienia nagłówków HTTP. Możliwe, że potrzebne będą pewne zmiany, aby nowy robot mógł zindeksować witrynę. Jeśli BingBot wykryje w pliku robots.txt dyrektywy dla MSNBota – nie będzie miał problemu z ich odczytaniem. Jeśli Wasza strona posiada skonfigurowany plik .httacces należy go przejrzeć i uaktualnić pod kątem BingBota.
Jeśli blokowaliście Bing crawlera (MSNBot), ale wpuszczaliście na swoją stronę robota Yahoo, to aby być widocznym w wynikach wyszukiwania Yahoo należy dać dostęp BingBotowi. Pamiętajcie, że Yahoo testował Binga i teraz używa w pewnym stopniu silnika wyszukiwarki od Microsoftu.
Adresy IP pajączków pozostają niezmienione. Microsoft zaleca rejestrację w Bing webmaster Tools, dzięki któremu mamy możliwość dodawania i blokowania adresów URL, wysyłanie map stron, czy sprawdzanie problemów, na które natknęły się roboty indeksujące podczas odwiedzin naszej strony.