Tool Box

Deutsche Stopwords

Monday 31 March, 2008 at 8:57 pm Tool Box 8

Viele Blogs nutzen so genannte “Tagclouds” / “Schlagwort Wolken” diese sind spätestens im aufblühendem SEO (Search Engine Optimization) Wahn modern geworden. Neben dem Seitenbesucher möglicherweise interessante Schlagwörter zu präsentieren leiten Sie so Besucher und Suchmaschinen in Bereiche der Seite in die sonst vielleicht kaum jemand surft.

Das Problem dieser Tagclouds ist nun jedoch auch die verwendete Sprache, Wörter wie z.B. “jene, welche, sein, seine, ihre, unser, jedes, wessen” sind als Schlagwörter unbeliebt. Meist versucht man sämtliche Präpositionen, Adverben und Determinative auszugliedern da diese schlichtweg überall vorkommen können ohne eine relevante Aussage an sich treffen zu müssen.

Um dies zu unterbinden nutzt man nun o.g. “Stopword Lists”; Dies sind also nichts weiter als Aufzählungen von unerwünschten Tags. Ich habe auf Frage eines Seitenbesuchers meine Liste mal zum Download verfügbar gemacht.

Die meisten Addons & Plugins für aktuelle CMS oder Blogsysteme wie WordPress, Joomla, Drupal u.v.m. unterstützen die Verwendung von Stopwords.

stopwords.txt Readme

Die hier zum Download angebotene Liste ist frei verwendbar. Als Hinweis sei angemerkt das diese Liste in Hinblick auf Verwendung in Blog / News-systemen erstellt wurde. D.h. es sind auch jene Wörter enthalten die als Web “Keywords” unerwünscht sind aber im herkömmlichen Sinne kein “Stopword” darstellen. Für Rücksendungen aktualisierter Versionen bin ich dankbar.

PS: An das Team der Uni-München, korrekt – ich bin kein Computerlinguist. Mit ein wenig Recherche (Klick auf About.me) wäre dies aber auch schnell aufgefallen, der Inhalt der hier zur Verfügung gestellten Stopword Liste ist auch nicht zu stemming zwecken erstellt worden, sondern um ein einfaches Blogsystem aufzuwerten. Gerne nehme ich den in den Studienarbeiten zusammengetragenen Input auf und werde die Liste damit ergänzen :)

Aber nun zum Download:

stopwords.txt

DOWNLOAD

German Stopwords
Downloads: 8414
[download 8.53 kB]   [donate]

 



  • Dr. B

    superb idea… thanks

  • Sigmund

    Very useful … vielen Dank

  • http://relojesdecuco.blogspot.com Sombra

    Super!! Danke viel mal für die Liste :)

  • http://www.iphoneinfos.de/ Gregor

    Diese Liste kann ich auch gleich brauchen. Danke

  • Pingback: stopwords 多语言 « 大虾的学习空间

  • Steffen Hartlieb

    Vielen Dank! Ohne Leute wie Sie, die sich die Zeit nehmen und Mühe machen, so etwas der Allgemeinheit zur Verfügung zu stellen, wäre das Leben wirklich schwierig! Danke!

  • Steffen Hartlieb

    Vielen Dank! Ohne Leute wie Sie, die sich die Zeit nehmen und Mühe machen, so etwas der Allgemeinheit zur Verfügung zu stellen, wäre das Leben wirklich schwierig! Danke!

  • Include

    Vielen Dank, vor allem für die Stopword-Liste. Gerne gebe ich etwas zurück.
    Ich habe nämlich nen kleinen Vorschlag, wie du einen Teil deines Codes wesentlich performanter machen könntest.

            //–Aussortieren vorbereiten–//
            $stop = array_flip($stopwords);  // stopwords ist ein array.
                // durch das flippen wird anschliessen die sehr effizient
                // prüfung mit isset ermöglicht.
            $keywords_array = explode(‘;’, $source);
           
            //–Vergleich der Wörter der Datei mit der Liste der unerwünschten Ausdrücke–//
            // und entferne gleichzeitig die kurzen wörter
            foreach($keywords_array as $key=>$val) {
                if (strlen($val)<$minWordLength || isset($stop[$val]))
                    unset($keywords_array[$key]);
            };
            $cleaned = implode(';',$keywords_array);



 
QR Code Business Card Ucardo.com - QR code visitenkarte