Google introduceert een nieuwe crawler om de prestaties van Googlebot te optimaliseren

Google heeft onlangs een nieuwe webcrawler geïntroduceerd, GoogleOther genaamd, die is ontworpen om de druk op Googlebot, de belangrijkste zoekindexcrawler, te verlichten. De toevoeging van deze nieuwe crawler zal Google uiteindelijk helpen de crawlactiviteiten te optimaliseren en te stroomlijnen. Webcrawlers, ook wel robots of spiders genoemd, ontdekken en crawlen automatisch websites. Googlebot is verantwoordelijk voor het bouwen van de zoekindex van Google. GoogleOther is een generieke webcrawler die door verschillende Google-productteams zal worden gebruikt om openbaar beschikbare inhoud van websites op te halen. In een LinkedIn-post deelt Google Search Analyst Gary Illyes meer details.

Verdeling van verantwoordelijkheden tussen Googlebot en GoogleOther.

Het belangrijkste doel van de nieuwe GoogleOther-crawler is om niet-essentiële taken over te nemen die momenteel door Googlebot worden uitgevoerd. Door dit te doen, kan Googlebot zich nu uitsluitend richten op het bouwen van de zoekindex die wordt gebruikt door Google Zoeken. Ondertussen voert GoogleOther ander werk uit, zoals onderzoek en ontwikkeling (R&D)-controles, die niet direct verband houden met zoekindexering. Illyes zegt op LinkedIn: “We hebben een nieuwe crawler aan onze lijst met crawlers toegevoegd, GoogleOther, die uiteindelijk de druk op Googlebot zal verminderen. Het is een onrealistische verandering voor jou, maar ik vind het wel interessant. Bij het optimaliseren van hoe en wat Googlebot crawlt, wilden we ervoor zorgen dat Googlebot-crawltaken alleen intern worden gebruikt om de index op te bouwen die wordt gebruikt door zoekopdrachten. Hiertoe hebben we een nieuwe crawler toegevoegd, GoogleOther, die enkele van de andere taken van Googlebot, zoals crawls voor onderzoek en ontwikkeling, zal vervangen om de crawlcapaciteit van Googlebot vrij te maken.

GoogleOther neemt de Googlebot-infrastructuur over

GoogleOther heeft dezelfde infrastructuur als Googlebot, wat betekent dat het dezelfde beperkingen en functies heeft, inclusief laadlimieten voor hosting, robots.txt (zij het met een ander user-agent-token), HTTP-protocolversie en ophaalgrootte . Kortom, GoogleOther is Googlebot onder een andere naam.

Impact op SEO en website-eigenaren

Het installeren van GoogleOther zou geen significante impact moeten hebben op websites, aangezien het op dezelfde infrastructuur en beperkingen draait als Googlebot. Hoe dan ook, het is een opmerkelijke inspanning van Google om zijn webcrawlingprocessen te optimaliseren en te stroomlijnen. Als u zich zorgen maakt over GoogleOther, kunt u dit op de volgende manieren volgen:

  • Analyseer serverlogboeken: Controleer uw serverlogboeken regelmatig om verzoeken van GoogleOther te identificeren. Dit zal u helpen begrijpen hoe vaak hij uw site bezoekt en welke pagina’s hij bezoekt.
  • Werk uw robots.txt bij: Zorg ervoor dat uw robots.txt-bestand is bijgewerkt met zo nodig GoogleOther-specifieke regels. Dit zal helpen haar toegang en surfgedrag op de site te beheersen.
  • Houd crawlstatistieken bij in Google Search Console.: Houd de crawlstatistieken in Google Search Console bij om wijzigingen in de crawlfrequentie, het crawlbudget of het aantal geïndexeerde pagina’s sinds de lancering van GoogleOther te zien.
  • Bewaak de prestaties van de site: controleer regelmatig de prestatiestatistieken van uw site, zoals laadtijden, bouncepercentages en gebruikersbetrokkenheid, om mogelijke correlaties met de crawlactiviteit van GoogleOther te identificeren. Dit zal u helpen bepalen of de nieuwe crawler onverwachte problemen met uw site veroorzaakt.

Bron: Google
Uitgelichte afbeelding: BestForBest/Shutterstock

Relevante berichten