Estoy buscando identificar una lista de palabras que puedo agregar a mi algoritmo de búsqueda para una base de datos.
Me gustaría saber si hay una lista de palabras que pueda identificar que sirvan de poco. Me gustaría buscar en una base de datos coincidencias exactas sin el uso de ciertas palabras. Por ejemplo, the, an, a, to y . No estoy seguro de cómo se llama este tipo de palabras.
Comentarios
- Bienvenido a EL & U. Creo que la mayoría de los colaboradores aquí estarían en desacuerdo con la noción de que palabras como the o y " tienen poco propósito "; una noche con la Reina probablemente sería bastante diferente de una con Reina – o con una reina para el caso. ¿Se refiere simplemente a palabras muy comunes , por ejemplo, para ignorarlas al indexar texto?
- La lista de palabras que se excluirán de un La búsqueda de texto normalmente se denomina " lista de palabras vacías ". Como ejemplo, consulte la lista de palabras irrelevantes de búsqueda de texto completo de MySQL http://dev.mysql.com/doc/refman/5.5/en/fulltext-stopwords.html . (No es ' que estas palabras " tengan poco propósito ", sí sirven un propósito importante. El problema con estas palabras es que las coincidencias basadas en estas palabras a menudo producen resultados que tienden a no ser relevantes para el tema real que se busca.)
- Consulte también en.wikipedia.org/wiki/Stop_words
Responder
De acuerdo con los que compartió en su ejemplo:
- los, an, a = artículos.
- y = conjunción de coordinación aditiva.
- a = preposición.
Supongo que podría usar solo «Palabras comunes» o «Palabras vacías», que suelen ser algunas de las jergas técnicas que se mencionan al leer sobre operaciones de indexación en los motores de búsqueda.
Por ejemplo, http://lucene.apache.org/core/3_0_3/api/core/org/apache/lucene/analysis/package-summary.html#Tokenization
Saludos.
Comentarios
- (1) ELU está dirigido a lingüistas competentes, dando la P OS ' s de ' y ', etc. es demasiado simplista. (2) No ' parece haber ninguna evidencia de apoyo fácil de usar.