Kuinka testata hakukoneiden tuloksia?

En ole asiantuntija hakukoneissa, mutta on monet tekijät, jotka vaikuttavat hakutulosten näyttämiseen. Kysely on lähinnä lähtökohta, ja miten moottori jäsentää kyselyn, on tärkeää. Myös jotkut hakukoneet ”muokkaavat” kyselyä luonnollisten langauge-algoritmien perusteella. Palautettujen tulosten järjestys riippuu usein erilaisista tiedoista, kuten suosio, vastaavien sanojen, avainsanojen, tunnisteiden määrä jne. Joillekin näistä mittareista annetaan enemmän painoa kuin toisille.

Joten tämä kysymys sinänsä ”ei todellakaan tarjoa sinulle tarpeeksi asiayhteyttä, tai ehkä tämän kysymyksen tarkoituksena oli saada sinut esittämään kysymyksiä saadaksesi lisää kontekstia. Joskus haastattelijat esittävät epämääräisiä kysymyksiä nähdäkseen, aloittaako haastateltava” pistoja pimeässä ”saamatta riittävää kontekstia (esim. alkaisi piilottaa ongelmia ja toivoa kompastuvan ratkaisuun tai ajattele ongelmaa ja harkitse mahdollisia ratkaisuja ennakolta).

Itse asiassa kysymys hakukoneiden testaamisesta on osa tietojen haku (IR) -ongelmaa. Luen vain muutama lähestymistapa, miten niitä voidaan arvioida / testata.

Perinteinen infrapunamenetelmä

Yksi tapa perinteisessä infrapunayhteydessä on valmistella testiasetuksia, mukaan lukien:

• ehdokkaakyselyt
• indeksoitujen sivujen tietojoukko
• Odotettu tulosjoukko (mukaan lukien odotettu sijoitus) jokaiselle kyselylle

Seuraavaksi saat todelliset tulokset suorittamalla hakukoneesi hakukyselyjen yli ja vertaamalla todellisia tuloksia odotettuihin tuloksiin käyttämällä jotakin tiedonhakutietoja , esimerkiksi tarkkuus / palautus tai nDCG . Se antaisi sinulle kvantitatiivisen vastauksen siitä, kuinka huono tai hyvä hakukoneesi on odotettuun tulosjoukkoon (vaatimus) nähden.

Vastaus on tietysti kontekstikohtainen. Se riippuu erityisesti ehdokkaakyselyjen valinnasta, niiden tarkoituksesta ja sanamuodosta, indeksoitujen sivujen aineistosta ja odotettujen tulosten arviointitavoista. Joten mikä oli asiayhteys?

Tavoitteellinen / vuorovaikutteinen IR-lähestymistapa

Toinen lähestymistapa, ehkä enemmän käytännöllinen, olisi saada potentiaaliset käyttäjät mukaan ja antaa heidän arvioida tietyn kyselyn tulosten laatua. He voivat tuoda omat kyselynsä tai sinä voit määrittää heille kyselyt. Ne voivat olla muutama ihminen tai koko yhteisö, jolta voisit saada implisiittistä palautetta tulosten laadusta (esim. Napsautetut tulokset ovat odotettuja).

Ongelman eristäminen

Lopuksi ongelmana ei ehkä ole hakukoneen yleisen laadun arviointi, vaan vain kaventaa matalan sijoituksen syytä tämän kyselyn tuloksen. Joten seuraan saamaasi ongelmaa:

Sinulle kerrottiin, että kohdekyselyn mukainen hakukoneen tulos ei täytä vaatimuksia sen sijainnin perusteella.

ja kysyin itseltäni:

• Mitkä olivat muut tulokset, jotka sijoittuivat tätä korkeammalle?
• Miksi he sijoittuivat korkeammalle? Voinko kertoa tämän tuloskatkelmista? Ehkä ne vastaavat kyselyavainsanoja, mutta joilla on erilainen merkitys? Joten ehkä sanamuoto on väärä? Parannaako kyselyn aikomuksen toinen muotoilu tulosta?
• Sama kysely on ehkä muotoiltu eri tavalla, ja samoilla sanamuotoilla voi olla eri kyselytarkoitus. Tiedänkö todella, mitä hakija aikoi tehdä tämän kyselyn takana?
• Mikä tarkalleen vaaditaan? Voit lisätä sponsoroituja sivuja? Tai sijoita korkeammat sivut, jotka vastaavat kyselytarkoitusta?

Ne voivat auttaa sinua toistamaan ongelman muille vastaaville kyselyille.

Olen työskennellyt SEO-yrityksessä vuonna 2004.Tavoitteenamme oli saada luonnollisia / orgaanisia hakutuloksia Googlen ensimmäiselle tai toiselle sivulle kohdistetuille avainsanoille (Luonnolliset / orgaaniset hakutulokset ovat tavallisia hakutuloksia, ei Google Ad Wordsin tukemia). Yritys oli vasta aloitteleva yritys ja päätti keskittyä Googleen vain, koska sillä oli tuolloin yli 80% hakukoneiden markkinoista, ja tutkimukset osoittivat, että käyttäjät katselivat hyvin harvoin Googlen kahden ensimmäisen sivun ohi hakutuloksia.

Tulosten testaustapa oli kirjoittaa kohdistetut avainsanat (avainsanojen yhdistelmä) Googleen ja nähdä, näkyivätkö ilmoitukset Googlen ensimmäisellä tai toisella sivulla, jos kyllä, niin sitä pidettiin Menestys, ellei niin, sitä pidettiin epäonnistumisena.

Tänään tilanne on muuttunut Googlen kohdennetun mainonnan myötä, joten ihmiset saattavat saada erilaisia tuloksia eri tietokoneilta, ja jos he ovat kirjautuneet Google Plus -palveluun, tämä saattaa vaikuttaa myös tulokset, joten en tiedä, onko mahdollista edes testata tätä.

Kommentit

• Joten yksinkertaisesti Googlen tuloksia käsiteltiin viitteenä == odotetut tulokset?

Koska kysymyksessä mainitaan ”haku res Kysely ei viime kädessä täytä vaatimuksia sijainnin mukaan ”, näyttää siltä, että testin tavoitteena on varmistaa, että hakualgoritmissa on oikea sijoitteluun / osuvuuteen perustuva lajittelu. Tämän selvittämiseksi / selvittämiseksi voisin kysyä lisätietoja kyselystä – oliko se vain yksinkertainen tekstihaku yhdellä kentällä vai liittyikö se kenttien yhdistelmään, liittyikö siihen muita kuin englantilaisia merkkejä (diakriitikot jne.). Joskus syy miksi tulos voidaan luokitella alemmaksi, voi olla, että jotkut erikoismerkit jätetään pois hausta tai joitain erityisiä kenttiä ei indeksoida, minkä vuoksi haku jättää nämä kentät pois.

Voimme testata

• Käytä samaa termiä / kyselyä yhdessä muiden kenttäkombinaatioiden kanssa
• Katso, toimiiko osumakartta hyvin – soiko ensimmäinen hakutuloksissa olevalla asiakirjalla on todellakin enemmän ”hakutermien määrää” kuin muilla haetun kentän asiakirjoilla – asiakirjan avaaminen ja laskeminen arvioivat tämän.
• Poista yksi merkki kerrallaan tai yksi kenttä (monille kenttähaku) ja tarkista sitten, ovatko tulokset olennaisia
• käytä termin synonyymiä (termihakuun) ja katso, kuvaaako se asiakirjaa ja sijoittuu korkeammalle
• Tarkenna hakua päivämäärä tai jokin muu kenttä ja katso, onko pienempi tulosjoukko sitä korkeampi

Toinen tapa olisi vain kutsua hakusovellusliittymä käyttämällä työkalua, kuten fiddler tai Postman, ja verrata sitten palautettua sijoitusta käyttöliittymän sijoitus. Joskus jäsentämisen ja asiakkaan sivusivun lataamisen aikana joistakin välimuistiongelmista johtuen lajittelu voi olla sekavaa.