¿Cómo probar los resultados del motor de búsqueda?

No soy un experto en motores de búsqueda, pero hay muchos factores que contribuyen a cómo se muestran los resultados de la búsqueda. La consulta es esencialmente el punto de partida y la forma en que el motor analiza la consulta es importante. Además, algunos motores de búsqueda «refactorizarán» la consulta basándose en algoritmos de lenguaje natural. El orden de los resultados devueltos a menudo depende de varias métricas, como la popularidad, el número de palabras coincidentes, palabras clave, etiquetas, etc. Además, algunas de estas medidas reciben más peso que otras.

Entonces, esta pregunta por sí solo no le proporciona suficiente contexto, o tal vez el propósito de esta pregunta era hacer que hiciera preguntas para derivar más contexto. A veces, los entrevistadores harán preguntas vagas para ver si el entrevistado comenzará a hacer «puñaladas en la oscuridad «sin obtener suficiente contexto (por ejemplo, empezar a abordar los problemas y esperar encontrar una solución, o pensar en el problema y considerar posibles soluciones con previsión).

En realidad, la pregunta de cómo probar los motores de búsqueda es parte del problema de recuperación de información (IR). Enumeraré solo un algunos enfoques sobre cómo se pueden evaluar / probar.

Enfoque tradicional de infrarrojos

Una forma en la RI tradicional es preparar la configuración de la prueba, que incluye:

• Consultas candidatas
• Conjunto de datos de páginas indexadas
• Conjunto de resultados esperados (incluida la clasificación esperada) para cada consulta

A continuación, obtiene resultados reales ejecutando su motor de búsqueda sobre consultas candidatas y compara los resultados reales con los esperados utilizando una de las métricas de recuperación de información , p.ej precisión / recuperación o nDCG . Eso le daría una respuesta cuantitativa de qué tan malo o bueno es su motor de búsqueda con respecto al conjunto de resultados esperado (requisito).

Obviamente, la respuesta será específica del contexto. Dependerá particularmente de la elección de las consultas candidatas, su intención y redacción, el conjunto de datos de las páginas indexadas y la forma en que se juzgaron los resultados esperados. Entonces, ¿cuál fue el contexto?

Enfoque de IR interactivo / impulsado por objetivos

Otro enfoque, tal vez más práctico, sería involucrar a los usuarios potenciales y permitirles evaluar la calidad de los resultados para una consulta determinada. Podrían traer sus propias consultas o podría definir consultas para ellos. Podrían ser unas pocas personas o toda una comunidad, de la cual podría obtener comentarios más implícitos sobre la calidad de los resultados (por ejemplo, los resultados en los que se hace clic son los esperados).

Aislamiento del problema

Por último, el problema podría no ser evaluar la calidad general del motor de búsqueda, sino limitar el motivo de la clasificación baja del resultado de esta consulta en particular. Entonces, seguiría el problema que tiene:

Se le dijo que el resultado de un motor de búsqueda por consulta de destino no satisface un requisito por su posición.

y me pregunté:

• ¿Cuáles fueron los otros resultados que se clasificaron por encima de este?
• ¿Por qué se clasificaron más alto? ¿Puedo distinguir esto de los fragmentos de resultados? ¿Quizás coinciden con palabras clave de consulta pero con un significado diferente? ¿Entonces tal vez la redacción sea incorrecta? ¿Mejoraría el resultado otra redacción de intención de consulta?
• La misma consulta puede estar redactada de manera diferente y las mismas redacciones pueden tener una intención de consulta diferente detrás de ellas. ¿Realmente sé cuál era la intención de un buscador detrás de esta consulta?
• ¿Cuál es exactamente el requisito? ¿Para impulsar las páginas patrocinadas más altas? ¿O clasificar páginas más altas que coincidan con la intención de la consulta?

Estas pueden ayudarlo a reproducir el problema para otras consultas similares.

Trabajé para una empresa de SEO en 2004.Nuestro objetivo era obtener resultados de búsqueda naturales / orgánicos en la primera o segunda página de Google para las frases clave específicas (los resultados de búsqueda naturales / orgánicos son los resultados de búsqueda normales, no los patrocinados por Google Ad Words). La empresa era una empresa de nueva creación y decidió centrarse en Google solo porque tenía más del 80% del mercado de motores de búsqueda en ese momento y los estudios mostraron que los usuarios rara vez miraban más allá de las dos primeras páginas de Google en busca de resultados de búsqueda.

La forma en que probamos los resultados fue escribir las frases clave específicas (combinación de palabras clave) en Google y ver si la lista aparecía en la primera o segunda página de Google, si es así, entonces se consideró un éxito, si no, entonces se consideró un fracaso.

Hoy en día, las cosas han cambiado con la publicidad dirigida de Google, por lo que las personas pueden recibir resultados diferentes de diferentes computadoras y si están conectados a Google Plus, esto podría afectar los resultados también, así que no sé si es posible probar esto nunca más.

Comentarios

• Así que simplemente los resultados de Google se trataron como una referencia == resultados esperados?

Porque la pregunta menciona «búsqueda res ultimado por la consulta no satisface su requisito por posición «, parece que el objetivo de la prueba es asegurar que el algoritmo de búsqueda cuente con la clasificación correcta basada en la clasificación / relevancia. Para depurar / profundizar más en esto, podría pedir más detalles sobre la consulta: si se trataba de una simple búsqueda de texto en un solo campo o involucró una combinación de campos, ¿involucró algún carácter no inglés (diacríticos, etc.). A veces, la razón por la que un resultado puede tener una clasificación más baja podría ser que algunos caracteres especiales se omiten en la búsqueda o algunos campos específicos no se indexan debido a que la búsqueda omite esos campos.

Podríamos probar

• Usar el mismo término / consulta con una combinación adicional de campos
• Ver si el mapa de resultados funciona bien, es decir, ¿funciona el primero documento en los resultados de búsqueda realmente tiene más «recuento de términos de búsqueda» que otros documentos en el campo buscado; abrir el documento y contarlo evaluaría esto.
• Elimine un carácter a la vez o un campo (para varios búsqueda de campo) y luego verifique si los resultados son relevantes
• use un sinónimo del término (para búsqueda de término) y vea si es una foto que documenta y ocupa un lugar más alto
• Limite la búsqueda por fecha o cualquier otro campo y ver si un conjunto de resultados reducido lo ubica más alto

Otro método sería simplemente llamar a la API de búsqueda usando una herramienta como Fiddler o Postman y luego comparar el rango devuelto con la clasificación en la interfaz de usuario. A veces, durante el análisis y la carga de la página del lado del cliente, debido a algunos problemas de almacenamiento en caché, la clasificación puede ser un desastre.