Jak testovat výsledky vyhledávače?

Nejsem odborník na vyhledávače, ale existují mnoho faktorů, které přispívají k zobrazení výsledků vyhledávání. Dotaz je v zásadě výchozím bodem a je důležité, jak ho motor analyzuje. Některé vyhledávače také „refaktorují“ dotaz na základě algoritmů přirozeného jazyka. Pořadí vrácených výsledků často závisí na různých metrikách, jako je popularita, počet shodných slov, klíčová slova, značky atd. Některá z těchto měření mají také větší váhu než ostatní.

Takže tato otázka sama o sobě vám „neposkytne dostatek kontextu, nebo snad účelem této otázky bylo přimět vás klást otázky, abyste odvodili více kontextu. Někdy tazatelé budou klást vágní otázky, aby zjistili, zda dotazovaný začne brát“ bodnutí ve tmě „bez získání dostatečného kontextu (např. začít se hýbat problémy a doufat, že o řešení narazíte, nebo o problému přemýšlet a uvažovat o možných řešeních s rozmyslem).

Otázka, jak testovat vyhledávače, je ve skutečnosti součástí problému načítání informací (IR). Uvedu pouze několik přístupů, jak je lze vyhodnotit / otestovat.

Tradiční IR přístup

Jedním ze způsobů v tradičním IR je připravit nastavení testu, včetně:

• Dotazy kandidátů
• Datová sada indexovaných stránek
• Očekávaná sada výsledků (včetně očekávaného hodnocení) pro každý dotaz

Dále získáte skutečné výsledky spuštěním vyhledávače nad kandidátskými dotazy a porovnáte skutečné výsledky s očekávanými výsledky pomocí jedné z metrik načítání informací např přesnost / odvolání nebo nDCG . To by vám dalo kvantitativní odpověď na to, jak špatný nebo dobrý je váš vyhledávač s ohledem na očekávanou sadu výsledků (požadavek).

Odpověď bude samozřejmě záviset na kontextu. Zejména to bude záviset na výběru kandidátských dotazů, jejich záměru a formulaci, datovém souboru indexovaných stránek a způsobu, jakým byly hodnoceny očekávané výsledky. Jaký byl tedy kontext?

Přístup zaměřený na cíl / interaktivní IR

Jiný přístup, možná i více praktické by bylo zapojit potenciální uživatele a nechat je posoudit kvalitu výsledků pro daný dotaz. Mohli by přinést své vlastní dotazy nebo byste pro ně mohli definovat dotazy. Může to být několik lidí nebo celá komunita, od kterých můžete získat implicitnější zpětnou vazbu o kvalitě výsledků (např. Výsledky, na které kliknete, jsou očekávané).

Izolace problému

Nakonec nemusí být problém vyhodnotit celkovou kvalitu vyhledávače, ale pouze zúžit důvod nízkého hodnocení tohoto konkrétního výsledku dotazu. Sledoval bych tedy problém, který jste dostali:

Bylo vám řečeno, že výsledek vyhledávacího modulu cílovým dotazem nesplňuje požadavek svou polohou.

a zeptal se sám sebe:

• Jaké byly další výsledky, které byly hodnoceny výše?
• Proč byli na vyšší pozici? Mohu to poznat z úryvků výsledků? Možná se shodují s klíčovými slovy dotazu, ale s jiným významem? Možná je tedy formulace nesprávná? Zlepšilo by výsledky jiné znění záměru dotazu?
• Stejný dotaz může znít odlišně a stejná znění mohou mít za sebou odlišný záměr dotazu. Opravdu vím, jaký byl záměr hledače za tímto dotazem?
• Co přesně je požadavek? Chcete-li podpořit vyšší sponzorované stránky? Nebo ohodnotit vyšší stránky, které odpovídají záměru dotazu?

Ty vám mohou pomoci reprodukovat problém pro další podobné dotazy.

V roce 2004 jsem pracoval pro společnost SEO.Naším cílem bylo získat výsledky přirozeného / organického vyhledávání na první nebo druhé stránce Google pro cílené klíčové fráze (výsledky přirozeného / organického vyhledávání jsou běžné výsledky vyhledávání, nikoli ty, které sponzoruje Google Ad Words). Společnost byla start-up a rozhodla se zaměřit na Google pouze proto, že v té době měla více než 80% trhu s vyhledávacími motory a studie ukázaly, že uživatelé velmi zřídka hledali shodu s výsledky vyhledávání kolem prvních dvou stránek Google.

Výsledky, které jsme testovali, spočívali v zadávání cílených klíčových frází (kombinace klíčových slov) do Googlu a zjištění, zda se zápis objevil na první nebo druhé stránce Google, pokud ano, pak to bylo považováno za úspěch, pokud ne, pak to bylo považováno za neúspěch.

Dnes se věci změnily v cílené reklamě Google, takže lidé mohou dostávat různé výsledky z různých počítačů a pokud jsou přihlášeni do Google Plus, může to ovlivnit i výsledky, takže nevím, jestli je to vůbec možné už otestovat.

Komentáře

• Takže s výsledky Google se zacházelo jednoduše jako s odkazem == očekávané výsledky?

Protože otázka zmiňuje „search res ult podle dotazu nesplňuje svůj požadavek podle pozice „, vypadá to, že cílem testu je zajistit, aby bylo ve vyhledávacím algoritmu zavedeno správné řazení založené na pořadí / relevanci. Chcete-li to dále ladit / rozbalit, mohu se zeptat na další podrobnosti dotazu – bylo to jen jednoduché textové vyhledávání na jednom poli nebo to zahrnovalo kombinaci polí, zahrnovalo to nějaké neanglické znaky (diakritiku atd.). Důvodem, proč by mohl být výsledek zařazen níže, může být někdy to, že jsou při vyhledávání vynechány některé speciální znaky nebo některá konkrétní pole nejsou indexována, kvůli čemuž tato pole vynechá.

Mohli bychom testovat

• Použijte stejný výraz / dotaz s další kombinací polí
• Podívejte se, zda mapa funguje dobře – tj. provede první dokument ve výsledcích vyhledávání skutečně obsahuje více „počet hledaných výrazů“ než jiné dokumenty v hledaném poli – otevření dokumentu a počítání by to posoudilo.
• Eliminovat jeden znak najednou nebo jedno pole (pro více vyhledávání podle polí) a poté zkontrolujte, zda jsou výsledky relevantní
• použijte synonymum výrazu (pro vyhledávání výrazů) a podívejte se, zda se jedná o obrázky, které se zdokumentují a mají vyšší hodnocení
• Zúžit vyhledávání podle datum nebo jakékoli jiné pole a zjistěte, zda se snížená sada výsledků řadí výše.

Další metodou by bylo zavolat vyhledávací API pomocí nástroje jako houslista nebo pošťák a poté porovnat vrácenou hodnost s pořadí v uživatelském rozhraní. Někdy se při analýze a načítání boční stránky klienta může kvůli problémům s ukládáním do mezipaměti řazení pokazit.