Google legt de use cases uit voor verschillende soorten crawlers

Google legt de use cases uit voor verschillende soorten crawlers post thumbnail image

Google heeft nu nieuwe informatie toegevoegd waarin wordt uitgelegd in welke drie categorieën zijn Google-crawlers vallen, waaronder Googlebot, crawlers voor speciale gevallen en door gebruikers geactiveerde vallen. Bovendien biedt Google nu een bestand in JSON-indeling met een lijst met IP-adressen die door elk van deze verschillende typen crawlers worden gebruikt.

Soorten Google-crawlers. Bovenaan deze Googlebot-pagina heeft Google de volgende drie typen crawlers vermeld:

  • Googlebot – Google’s belangrijkste zoekproductrecensent. Google zegt dat deze crawler altijd de robots.txt-regels volgt.
  • Scanners voor speciale gevallen – Crawlers die specifieke functies uitvoeren (zoals AdsBot) die de robots.txt-regels al dan niet respecteren.
  • Door gebruiker geactiveerde grijpers – Tools en productkenmerken wanneer de eindgebruiker de acquisitie activeert. Google Site Verifier wordt bijvoorbeeld uitgevoerd op verzoek van een gebruiker, of sommige Google Search Console-tools sturen Google om een ​​pagina op te halen op basis van een gebruikersactie.

IP-adressen. Google vermeldde ook de IP-adresbereiken en het omgekeerde DNS-masker voor elk type:

  • Googlebot – googlebot.json (crawl-.googlebot.com of geo-crawl-.geo.googlebot.com)
  • Scanners voor speciale gevallen – special-crawlers.json (rate-limited-proxy-.google.nl)
  • Door gebruiker geactiveerde grijpers – door gebruiker geactiveerde fetchers.json (.gae.googleusercontent.com)

Wat is er nieuw. Hier is het deel van de pagina dat is bijgewerkt; de rest van de pagina is grotendeels ongewijzigd.

Waarom kan het ons schelen? Ik denk dat Google deze wijziging heeft aangebracht na het zien van enkele reacties op de GoogleOther-bot die ze onlangs hebben aangekondigd. Er wordt nu uitgelegd hoe de crawlers van Google werken, wanneer ze robots.txt respecteren en hoe ze beter kunnen worden geïdentificeerd. Als u nu de hoofdcrawler van Google, Googlebot, niet wilt blokkeren, maar besluit anderen te blokkeren, kunt u die crawlers beter en nauwkeuriger identificeren. Het bericht Google legt use cases uit voor verschillende soorten crawlers verscheen eerst op Search Engine Land.

Relevante berichten