Jak testować wyniki wyszukiwania?

Nie jestem ekspertem w wyszukiwarkach, ale są wiele czynników wpływających na sposób wyświetlania wyników wyszukiwania. Kwerenda jest zasadniczo punktem wyjścia i ważny jest sposób, w jaki silnik analizuje zapytanie. Również niektóre wyszukiwarki „refaktoryzują” zapytanie w oparciu o algorytmy języka naturalnego. Kolejność zwracanych wyników często zależy od różnych wskaźników, takich jak popularność, liczba pasujących słów, słów kluczowych, tagów itp. Ponadto niektórym z tych miar przypisuje się większą wagę niż innym.

Zatem to pytanie samo w sobie nie zapewnia wystarczającego kontekstu, a może celem tego pytania było skłonienie Cię do zadawania pytań w celu uzyskania szerszego kontekstu. Czasami ankieterzy zadają niejasne pytania, aby zobaczyć, czy rozmówca zacznie zadawać pytania w ciemności „bez zdobywania wystarczającego kontekstu (np. zacznij rozwiązywać problemy i mieć nadzieję na znalezienie rozwiązania lub pomyśl o problemie i rozważ potencjalne rozwiązania z wyprzedzeniem).

Właściwie pytanie, jak testować wyszukiwarki, jest częścią problemu z pobieraniem informacji (IR). Wymienię tylko kilka podejść, jak można je ocenić / przetestować.

Tradycyjne podejście IR

Jednym ze sposobów w tradycyjnym IR jest przygotowanie konfiguracji testu, w tym:

• Zapytania kandydatów
• Zestaw danych zindeksowanych stron
• Oczekiwany zestaw wyników (w tym oczekiwany ranking) dla każdego zapytania

Następnie uzyskujesz rzeczywiste wyniki, uruchamiając wyszukiwarkę na zapytaniach kandydatów i porównując rzeczywiste wyniki z oczekiwanymi wynikami przy użyciu jednej z metryk wyszukiwania informacji , np precyzja / przywołanie lub nDCG . To dałoby ilościową odpowiedź, jak zła lub dobra jest Twoja wyszukiwarka w odniesieniu do oczekiwanego zestawu wyników (wymagań).

Oczywiście odpowiedź będzie zależna od kontekstu. Będzie to w szczególności zależeć od wyboru zapytań kandydatów, ich intencji i sformułowań, zestawu danych zindeksowanych stron oraz sposobu oceny oczekiwanych wyników. Więc jaki był kontekst?

Zorientowane na cel / interaktywne podejście IR

Inne podejście, może więcej praktyczne byłoby zaangażowanie potencjalnych użytkowników i umożliwienie im oceny jakości wyników dla danego zapytania. Mogą przynosić własne zapytania lub możesz zdefiniować dla nich zapytania. Może to być kilka osób lub cała społeczność, od których można uzyskać bardziej niejawne opinie na temat jakości wyników (np. Kliknięte wyniki są oczekiwane).

Wyodrębnienie problemu

Wreszcie problemem może nie być ocena ogólnej jakości wyszukiwarki, a jedynie zawężenie przyczyny niskiego rankingu tego konkretnego wyniku zapytania. Więc postąpiłbym zgodnie z otrzymanym problemem:

Powiedziano Ci, że wynik wyszukiwania w wyszukiwarce docelowej nie spełnia wymagań dotyczących jego pozycji.

i zadałem sobie pytanie:

• Jakie inne wyniki były wyżej w rankingu?
• Dlaczego zajęli wyższe pozycje? Czy mogę to stwierdzić na podstawie fragmentów wyników? Może pasują do słów kluczowych w zapytaniu, ale mają inne znaczenie? Więc może sformułowanie jest nieprawidłowe? Czy inne sformułowanie intencji zapytania poprawiłoby wynik?
• To samo zapytanie może być sformułowane inaczej, a te same sformułowania mogą mieć inną intencję zapytania. Czy naprawdę wiem, jaki był zamiar osoby wyszukującej stojącej za tym zapytaniem?
• Jakie dokładnie jest wymaganie? Aby zwiększyć liczbę sponsorowanych stron? Lub wyższą pozycję w rankingu stron, które odpowiadają intencji zapytania?

Mogą one pomóc w odtworzeniu problemu w przypadku innych podobnych zapytań.

Pracowałem w firmie zajmującej się SEO w 2004 roku.Naszym celem było uzyskanie naturalnych / bezpłatnych wyników wyszukiwania na pierwszej lub drugiej stronie Google dla wybranych fraz kluczowych (naturalne / bezpłatne wyniki wyszukiwania to zwykłe wyniki wyszukiwania, a nie te sponsorowane przez Google Ad Words). Firma była start-upem i zdecydowała się skupić tylko na Google, ponieważ w tamtym czasie miała ponad 80% rynku wyszukiwarek, a badania wykazały, że użytkownicy bardzo rzadko spoglądali poza pierwsze dwie strony Google w celu dopasowania wyników wyszukiwania.

Sposób, w jaki przetestowaliśmy wyniki, polegał na wpisaniu docelowych fraz kluczowych (kombinacji słów kluczowych) do Google i sprawdzeniu, czy lista pojawiła się na pierwszej lub drugiej stronie Google, a jeśli tak, to została rozważona sukces, jeśli nie, to uznano to za porażkę.

W dzisiejszych czasach sytuacja uległa zmianie dzięki ukierunkowanym reklamom Google, więc ludzie mogą otrzymywać różne wyniki z różnych komputerów, a jeśli są zalogowani do Google Plus, może to mieć wpływ wyniki też, więc nie wiem, czy w ogóle można to już przetestować.

Komentarze

• Po prostu wyniki Google były traktowane jako odniesienie == oczekiwane wyniki?

Ponieważ pytanie wspomina o „search res ult by zapytanie nie spełnia wymagań dotyczących pozycji ”, wygląda na to, że celem testu jest upewnienie się, że algorytm wyszukiwania ma zapewnione właściwe sortowanie na podstawie rankingu / trafności. Aby jeszcze bardziej zdebugować / przeanalizować to pytanie, mógłbym zapytać o więcej szczegółów na temat zapytania – czy było to tylko proste wyszukiwanie tekstowe w pojedynczym polu, czy też obejmowało kombinację pól, czy obejmowało jakiekolwiek znaki inne niż angielskie (znaki diakrytyczne itp.). Czasami przyczyną niższej pozycji wyniku może być pomijanie niektórych znaków specjalnych w wyszukiwaniu lub nieindeksowanie niektórych pól, przez co wyszukiwanie pomija te pola.

Moglibyśmy przetestować za pomocą

• Użyj tego samego terminu / zapytania z dodatkową kombinacją pól
• Sprawdź, czy hitmapa działa dobrze – tj. działa pierwsza dokument w wynikach wyszukiwania naprawdę ma większą „liczbę wyszukiwanych haseł” niż inne dokumenty w wyszukiwanym polu – otwarcie dokumentu i zliczenie by to ocenić.
• Eliminacja jednego znaku na raz lub jednego pola (w przypadku wielu wyszukiwanie z polami), a następnie sprawdź, czy wyniki są trafne
• użyj synonimu terminu (dla wyszukiwania terminów) i zobacz, czy obrazuje ten dokument i zajmuje wyższą pozycję
• Zawęź wyszukiwanie według data lub dowolne inne pole i sprawdź, czy zredukowany zestaw wyników plasuje je wyżej

Inną metodą byłoby po prostu wywołanie interfejsu API wyszukiwania za pomocą narzędzia takiego jak skrzypek lub Postman, a następnie porównanie zwróconej pozycji z ranking w interfejsie użytkownika. Czasami podczas analizowania i ładowania strony po stronie klienta, z powodu pewnych problemów z pamięcią podręczną, sortowanie może być popsute.