Stopwörter aus Text entfernen

[Torsten]

Hi,
ich habe eine Liste von Stopwörtern, die ich aus einem Text entfernen möchte. Bisher gehe ich klassisch vor:

repeat for each word i in tStopwortliste
    replace i with empty in tText 
end repeat

Frage: geht es auch schneller? Ich habe sehr gute Erfahrungen mit Arrays gemacht, weil die extrem schnell sind, z.B. beim Erstellen vor Wortlisten/Statistiken und auch dem Filtern von Stopwörtern aus der Wortliste per “difference”.
Aber bei den Array-Keys ist ja die Reihenfolge nicht vorherbestimmbar und es kann keine doppeklten Keys geben.

Hat jemand eine andere Idee, das Abarbeiten wie oben ist relativ langsam.

Beste Grüße
Torsten

[Herby]

Hallo Torsten,

ich muss gleich einmal fragen was Stopwörter sind und für was du sie verwendest ?

Danke Herby

[Torsten]

Hi Herby,

wenn man Texte analysieren will, z.B. um herauszufinden, welche Themen angesprochen werden, dann sind bestimmte Worte überflüssig, weil sie keine inhaltliche Bedeutung haben, wie z.B. der, die, das etc. Google indiziert auch nicht alle Wörter als Suchwörter, sondern schliesst die sogenannten Stopwörter aus der Suche aus.

Will man also einen Text auf die wesentlichen Wörter reduzieren, muss man zunächst die Stopwörter entfernen.

BG
Torsten

[Herby]

Nett, aber dafür bin ich noch zu klein.
Danke für die Info.
Herby

[Autor]

Beiträge