De beoordelaars van de zoekkwaliteit van Google richten zich op het evalueren van de responsiviteit van chatbots

Insider meldt dat Google sinds januari prioriteit geeft aan de snelle respons van de chatbot boven de kwaliteit van de zoekresultaten, althans voor sommige van zijn aannemers.

Waarom kan het ons schelen? Het is duidelijk dat Google momenteel veel middelen besteedt aan Bard en andere AI-initiatieven. Zoeken blijft het kernproduct en de belangrijkste geldmaker, dus het is interessant om te horen dat Google zo zwaar in Bard heeft geïnvesteerd dat het naar verluidt middelen heeft weggenomen voor het evalueren van zoekresultaten, wat de kwaliteit zou kunnen beïnvloeden.

AI-prompts bekijken in plaats van zoeken. Beoordelaars krijgen een gebruikerprompt te zien (bijvoorbeeld een vraag, verklaring of instructie) samen met twee mogelijke antwoorden gegenereerd door een AI-chatbot (de naam “Bard” werd niet gebruikt). Beoordelaars kregen de opdracht om het beste antwoord te selecteren.

Maar. Beoordelaars maken gissingen in plaats van de antwoorden van de chatbot te evalueren en te verifiëren. Dat komt omdat sommige beoordelaars zeiden dat ze niet genoeg tijd hadden om te onderzoeken welk antwoord beter was, vooral over technische of complexe onderwerpen waarmee ze misschien niet vertrouwd zijn, aldus Insider.

Tot zover EEAT. Google-recensenten hebben een bepaalde hoeveelheid tijd om hun taken uit te voeren, die varieert van 60 seconden tot enkele minuten.

  • “Drie uur onderzoek naar een taak van 60 seconden is een geweldige manier om het probleem te definiëren waar we nu mee te maken hebben”, vertelde de beoordelaar aan Insider.

Zoek naar kwaliteitsbeoordelaars. Google neemt al sinds 2005 menselijke reviewers aan, die hen belasten met het evalueren van de kwaliteit van pagina’s, websites en zoekresultaten aan de hand van een brede reeks richtlijnen. Google heeft altijd gezegd dat de feedback van recensenten niet direct van invloed is op organische zoekresultaten, maar dat hun feedback kan worden gebruikt om veranderingen te evalueren.

Googlers werd ook gevraagd om Bard te helpen verbeteren. Zoals we in februari meldden, vroeg Google zijn werknemers om 2-4 uur te besteden aan het testen van Bard, het herschrijven van antwoorden of het geven van andere feedback.

Lees het rapport van Insider (waarschuwing: betaalmuur). Aannemers van Google zeggen dat ze niet genoeg tijd hebben om de juiste antwoorden van de AI-chatbot van het bedrijf te verifiëren en uiteindelijk via Thomas Maxwell moeten raden. Het bericht Google’s zoekkwaliteitsbeoordelaars verleggen de focus naar het beoordelen van chatbotreacties verscheen eerst op Search Engine Land.

Relevante berichten