Hur testar jag sökmotorresultat?

Jag är inte expert på sökmotorer, men det finns många faktorer som bidrar till hur sökresultaten visas. Frågan är i huvudsak startpunkten, och hur motorn analyserar frågan är viktigt. Vissa sökmotorer kommer också att ”refaktorera” frågan baserat på naturliga algoritmer. Ordningen på returnerade resultat är ofta beroende av olika mätvärden som popularitet, antal matchande ord, nyckelord, taggar, etc. Vissa av dessa mått ges också större vikt än andra.

Så, den här frågan i sig ger inte dig tillräckligt med sammanhang, eller kanske syftet med denna fråga var att få dig att ställa frågor för att få mer sammanhang. Ibland kommer intervjuare att ställa vaga frågor för att se om intervjuade kommer att börja ta ”sticks i mörkret ”utan att få tillräckligt med sammanhang (t.ex. börja smälla bort på problem och hoppas kunna snubbla på en lösning, eller tänka på problemet och överväga potentiella lösningar med förgrund).

Egentligen är frågan hur man testar sökmotorer en del av informationssökning (IR) -problem. Jag listar bara ett få tillvägagångssätt för hur de kan utvärderas / testas.

Traditionell IR-strategi

Ett sätt i traditionell IR är att förbereda testinställningar, inklusive:

• Kandidatfrågor
• Dataset för indexerade sidor
• Förväntad resultatuppsättning (inkluderad förväntad ranking) för varje fråga

Därefter får du faktiska resultat genom att köra din sökmotor över kandidatfrågor och jämföra faktiska resultat med förväntade resultat med hjälp av en statistikhämtningsstatistik , t.ex precision / återkallelse eller nDCG . Det skulle ge dig ett kvantitativt svar på hur dålig eller bra din sökmotor är i förhållande till förväntat resultatuppsättning (krav).

Uppenbarligen kommer svaret att vara kontextspecifikt. Det kommer särskilt att bero på valet av kandidatfrågor, deras avsikt och formulering, datasetet för indexerade sidor och hur bedömda resultat förväntades. Så vad var sammanhanget?

Målstyrd / interaktiv IR-strategi

Ett annat tillvägagångssätt, kanske mer praktiskt, skulle vara att involvera potentiella användare och låta dem bedöma kvaliteten på resultaten för en viss fråga. De kan ta med sina egna frågor eller så kan du definiera frågor för dem. Det kan vara ett fåtal personer eller en hel grupp, från vilken du kan få mer implicit feedback om resultatkvaliteten (t.ex. resultat som du klickar på är förväntade).

Problemisolering

Slutligen kan problemet vara att inte utvärdera sökmotorns övergripande kvalitet utan bara begränsa orsaken till låg ranking av just detta sökresultat. Så jag skulle följa problemet du fick:

Du fick höra att ett sökmotorresultat efter målfrågan inte uppfyller ett krav genom sin position.

och frågade mig själv:

• Vilka var de andra resultaten som rankades högre än detta?
• Varför rankades de högre? Kan jag berätta detta från resultatutdrag? Kanske matchar de sökord men med en annan betydelse? Så kanske formuleringen är felaktig? Skulle en annan formulering av frågeställningar förbättra resultatet?
• Samma fråga kan formuleras annorlunda, och samma formuleringar kan ha olika frågeställningar bakom sig. Vet jag verkligen vad avsikten med en sökare bakom denna fråga är?
• Vad är kravet exakt? För att öka högre sponsrade sidor? Eller rangordna högre sidor som matchar frågaens avsikt?

De kan hjälpa dig att reproducera problemet för andra liknande frågor.

Jag arbetade för ett SEO-företag 2004.Vårt mål var att få naturliga / organiska sökresultat på den första eller andra sidan av Google för de riktade nyckelfraserna (Naturliga / organiska sökresultat är de vanliga sökresultaten, inte de som sponsras av Google Ad Words). Företaget var ett start-up och bestämde sig för att bara fokusera på Google eftersom det hade mer än 80% av sökmotormarknaden vid den tidpunkten och studier visade att användare mycket sällan tittade förbi de första två sidorna i Google för en sökresultatsmatchning.

Sättet vi testade resultaten var att skriva in de riktade nyckelfraserna (kombination av nyckelord) i Google och se om listan visade sig på första eller andra sidan i Google, om ja då ansågs det en framgång, om inte så ansågs det som ett misslyckande.

Idag har saker och ting förändrats med Googles riktade reklam så att människor kan få olika resultat från olika datorer och om de är inloggade på Google Plus kan detta påverka resultaten också, så jag vet inte om det ens är möjligt att testa detta längre.

Kommentarer

• Så helt enkelt behandlades Googles resultat som en referens == förväntade resultat?

Eftersom frågan nämner ”sök res ult av frågan inte uppfyller sitt krav efter position ”, det ser ut som att testmålet är att säkerställa att rätt ranking / relevansbaserad sortering finns på sökalgoritmen. För att felsöka / borra ner detta ytterligare kan jag fråga mer information om frågan – var det bara en enkel textsökning på ett enda fält eller innebar det en kombination av fält, innebar det några icke-engelska tecken (diakritik etc.). Ibland kan anledningen till att ett resultat rankas lägre vara att vissa specialtecken utelämnas i sökningen eller att vissa specifika fält inte indexeras på grund av vilka sökningen utelämnar dessa fält.

Vi kan testa med

• Använd samma term / fråga med ytterligare kombination av fält
• Se om hitmap fungerar bra – dvs gör det första dokument i sökresultaten har verkligen mer ”antal söktermer” än andra dokument i det sökte fältet – att öppna dokumentet och räkna skulle bedöma detta.
• Eliminera ett tecken i taget eller ett fält (för flera fältad sökning) och kontrollera sedan om resultaten är relevanta
• använd en synonym för termen (för termsökning) och se om det är bilder som läser och rankas högre
• Begränsa sökningen med datum eller något annat fält och se om en reducerad resultatuppsättning rankar den högre

En annan metod skulle bara vara att ringa sök-API med ett verktyg som spelare eller brevbärare och sedan jämföra rankningen som returnerats med rankningen i användargränssnittet. Ibland vid sortering och laddning av klientsidasidan, på grund av vissa cachingproblem, kan det hända att sorteringen trasslar.