Hvordan teste søkeresultater?

Jeg er ikke ekspert på søkemotorer, men det er mange faktorer som bidrar til hvordan søkeresultatene vises. Forespørselen er er egentlig utgangspunktet, og hvordan motoren analyserer spørringen er viktig. Også noen søkemotorer vil «refaktorere» spørringen basert på naturlige langauge-algoritmer. Rekkefølgen for returnerte resultater er ofte avhengig av ulike beregninger, som popularitet, antall samsvarende ord, nøkkelord, koder osv. Dessuten tillegges noen av disse tiltakene mer vekt enn andre.

Så dette spørsmålet i seg selv gir ikke deg nok kontekst, eller kanskje formålet med dette spørsmålet var å få deg til å stille spørsmål for å få mer kontekst. Noen ganger vil intervjuere stille vage spørsmål for å se om intervjuobjektet vil begynne å ta «stikk i mørket «uten å få tilstrekkelig kontekst (f.eks. begynne å banke bort på problemer og håpe å snuble på en løsning, eller tenk på problemet og vurder potensielle løsninger med tanke i tankene).

Egentlig er spørsmålet om hvordan man tester søkemotorer en del av informasjonsinnhenting (IR) -problemet. Jeg vil bare oppgi et få tilnærminger for hvordan de kan evalueres / testes.

Tradisjonell IR-tilnærming

En måte i tradisjonell IR er å forberede testoppsett, inkludert:

• Kandidatspørsmål
• Datasett med indekserte sider
• Forventet resultatsett (inkludert forventet rangering) for hvert søk

Deretter oppnår du faktiske resultater ved å kjøre søkemotoren din over kandidatspørsmål og sammenligne faktiske resultater med forventede resultater ved å bruke en av beregningene for informasjonsinnhenting , f.eks presisjon / tilbakekalling eller nDCG . Det vil gi deg et kvantitativt svar hvor dårlig eller god din søkemotor er med hensyn til forventet resultatsett (krav).

Selvfølgelig vil svaret være kontekstspesifikt. Det vil spesielt avhenge av valg av kandidatspørsmål, intensjon og ordlyd, datasettet til indekserte sider og måten forventede resultater ble vurdert på. Så hva var konteksten?

Målstyrt / interaktiv IR-tilnærming

En annen tilnærming, kanskje mer praktisk, ville være å involvere potensielle brukere og la dem vurdere kvaliteten på resultatene for et gitt spørsmål. De kan ta med sine egne spørsmål, eller du kan definere spørsmål for dem. Det kan være noen få mennesker eller et helt samfunn, hvorfra du kan få mer implisitt tilbakemelding om resultatkvaliteten (f.eks. Resultater som klikkes på er forventede).

Problemisolering

Til slutt kan problemet være å ikke evaluere den generelle kvaliteten på søkemotoren, men bare begrense årsaken til lav rangering av dette spesielle søkeresultatet. Så jeg vil følge problemet du fikk:

Du ble fortalt at et søkemotoresultat etter målspørsmål ikke tilfredsstiller et krav med sin posisjon.

og spurte meg selv:

• Hva var de andre resultatene som ble rangert høyere enn dette?
• Hvorfor ble de rangert høyere? Kan jeg fortelle dette fra resultatutdrag? Kanskje de samsvarer med søkeord, men med en annen betydning? Så kanskje ordlyden er feil? Ville en annen ordlyd av spørringsintensjonen forbedre resultatet?
• Den samme spørringen kan være formulert annerledes, og de samme formuleringene kan ha en annen spørringsintensjon bak seg. Vet jeg virkelig hva intensjonen til en søker bak dette spørsmålet var?
• Hva er egentlig kravet? For å øke høyere sponsede sider? Eller rangere høyere sider som samsvarer med spørringsintensjonen?

De kan hjelpe deg med å gjengi problemet for andre lignende spørsmål.

Jeg jobbet for et SEO-selskap i 2004.Målet vårt var å få naturlige / organiske søkeresultater på første eller andre side av Google for de målrettede nøkkelfrasene (Naturlige / organiske søkeresultater er de vanlige søkeresultatene, ikke de som er sponset av Google Ad Words). Selskapet var en oppstart og bestemte seg for å fokusere på Google bare siden det hadde mer enn 80% av søkemotormarkedet på den tiden, og studier viste at brukere svært sjelden så forbi de to første sidene i Google for å finne et søkeresultat.

Måten vi testet resultatene på var å skrive inn målrettede nøkkelfraser (kombinasjon av nøkkelord) i Google og se om oppføringen dukket opp på første eller andre side i Google, hvis ja, ble det vurdert en suksess, hvis ikke så ble det ansett som en fiasko.

I dag har ting endret seg med Googles målrettede annonsering, slik at folk kan motta forskjellige resultater fra forskjellige datamaskiner, og hvis de er logget på Google Plus, kan dette påvirke resultatene også, så jeg vet ikke om det er mulig å teste dette lenger.

Kommentarer

• Så ganske enkelt ble Googles resultater behandlet som en referanse == forventede resultater?

Fordi spørsmålet nevner «søk res ult av spørringen tilfredsstiller ikke kravet etter posisjon «, det ser ut til at testmålet er å sikre at riktig rangering / relevansbasert sortering er på plass i søkealgoritmen. For å feilsøke / detaljere dette ytterligere, kan jeg spørre mer om spørsmålet – var det bare et enkelt tekstsøk på et enkelt felt, eller involverte det en kombinasjon av felt, involverte det ikke-engelske tegn (diakritikere osv.). Noen ganger kan årsaken til at et resultat blir rangert lavere være at noen spesialtegn er utelatt i søk, eller at noen spesifikke felt ikke er indeksert.

Vi kunne teste med

• Bruk samme begrep / spørring med tilleggskombinasjon av felt
• Se om hitmap fungerer bra – dvs. gjør det første dokument i søkeresultatene har virkelig mer «antall søkeord» enn andre dokumenter i feltet det søkes etter – å åpne dokumentet og telle vil vurdere dette.
• Fjern ett tegn om gangen eller ett felt (for flere felt søk) og sjekk deretter om resultatene er relevante
• bruk et synonym for begrepet (for begrepssøk) og se om det er bilder som doc og rangerer høyere
• Begrens søket etter dato eller et hvilket som helst annet felt og se om et redusert resultatsett rangerer det høyere

En annen metode vil bare være å ringe Search API ved hjelp av et verktøy som spillemann eller postbud og deretter sammenligne rangering som er returnert med rangeringen i brukergrensesnittet. Noen ganger kan sortering bli ødelagt mens du analyserer og laster inn klientsidesiden, på grunn av noen problemer med hurtigbufring.