Hoe noem je woorden als “de, een, een, naar en”?

Ik ben op zoek naar een lijst met woorden die ik kan toevoegen aan mijn zoekalgoritme voor een database.

Ik zou graag willen weten als er een lijst is met woorden die ik kan identificeren die weinig zin hebben. Ik wil in een database zoeken naar exacte overeenkomsten zonder het gebruik van bepaalde woorden. Bijvoorbeeld the, an, a, to en . Ik weet niet zeker hoe je dit soort woorden noemt.

Opmerkingen

  • Welkom bij EL & U. Ik denk dat de meeste bijdragers hier bezwaar zouden hebben tegen het idee dat woorden als de of en " weinig nut hebben "; een avond met de koningin zou waarschijnlijk iets anders zijn dan een avond met koningin – of met een koningin trouwens. Verwijs je gewoon naar veelvoorkomende woorden om bijvoorbeeld te negeren bij het indexeren van tekst?
  • De lijst met woorden die moeten worden uitgesloten van een tekst zoeken wordt doorgaans een " lijst met stopwoorden " genoemd. Zie als voorbeeld de MySQL Full Text Search Stopword List http://dev.mysql.com/doc/refman/5.5/en/fulltext-stopwords.html . (het ' is niet dat deze woorden " weinig doel dienen ", ze dienen wel een belangrijk doel. Het probleem met deze woorden is dat overeenkomsten op basis van deze woorden vaak resultaten opleveren die meestal niet relevant zijn voor het daadwerkelijke onderwerp dat wordt doorzocht.)
  • Zie ook en.wikipedia.org/wiki/Stop_words

Antwoord

Volgens de degene die je in je voorbeeld hebt gedeeld:

  • de, an, a = artikelen.
  • en = additieve coördinerende combinatie.
  • to = voorzetsel.

Ik denk dat je gewoon “gewone woorden” of “stopwoorden” zou kunnen gebruiken, dat is meestal een van de technische jargons die worden vermeld tijdens het lezen over indexeringsoperaties in zoekmachines.

bijv. http://lucene.apache.org/core/3_0_3/api/core/org/apache/lucene/analysis/package-summary.html#Tokenization

Proost.

Reacties

  • (1) ELU is gericht op bekwame taalkundigen, waardoor de P OS ' s van ' en ' enz. Is te simplistisch. (2) Er lijkt geen ' t schijnbaar gebruiksvriendelijk ondersteunend bewijs te zijn.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *