Google heeft een nieuwe Googlebot geïntroduceerd, de webcrawler van Google genaamd GoogleOther. Verschillende projectteams zullen GoogleOther gebruiken om het openbare web te doorzoeken, zei Gary Illyes van Google op LinkedIn. Dit volgt dezelfde richtlijnen en protocollen als de kerncrawler van Googlebot en maakt wat bronnen vrij voor de kerncrawler van Googlebot.
GoogleAnders. Google vermeldt GoogleOther in de documentatie van de Google-crawlerlijst: “Een generieke crawler die door verschillende productteams kan worden gebruikt om openbaar beschikbare inhoud van websites op te halen. Het kan bijvoorbeeld worden gebruikt voor eenmalige interne onderzoeks- en ontwikkelingsinspecties. De crawler van GoogleOther volgt altijd de robots.txt-regels voor de user-agent-token en de globale gebruikerstool
en gebruikt dezelfde IP-bereiken als Googlebot. Vertegenwoordiger van de gebruiker.
Het user-agent-token en de hele user-agent-string zijn eenvoudig, het is gewoon GoogleOther. Waarom een nieuwe bot.
Deze nieuwe bot zal “uiteindelijk de spanning van Googlebot wegnemen”, legt Gary Illyes uit. “Door te optimaliseren hoe en wat Googlebot crawlt, wilden we ervoor zorgen dat de crawltaken van Googlebot alleen intern worden gebruikt om de index op te bouwen die wordt gebruikt door zoekopdrachten.” Hiertoe hebben we een nieuwe crawler toegevoegd, GoogleOther, die enkele van de andere taken van Googlebot, zoals R&D-crawls, zal vervangen om de crawlcapaciteit van Googlebot vrij te maken”, voegt Gary Illyes toe. Waarom kan het ons schelen? Velen van u controleren de crawler- en botactiviteit op uw website en logbestanden. Als je deze nieuwe GoogleOther-bot ziet, raak dan niet in paniek, het is een echte Googlebot. Het is niet duidelijk wat er zou gebeuren als je deze nieuwe bot probeert te blokkeren. Google zei dat ze het voor interne doeleinden gebruiken, betekent dit dat het door Bard wordt gebruikt? Het is onduidelijk. Maar ik vermoed dat u het in de gaten moet houden, en als het uw server te veel belast, kunt u beslissen of u deze nieuwe Googlebot al dan niet toegang tot uw site wilt verlenen. Het bericht Google onthult nieuwe Googlebot genaamd GoogleOther verscheen eerst op Search Engine Land.