Semantisches Clustering durch ein web-mining-basiertes Verfahren ...

2 Grundlagen
von Webseiten, die dann anschließend analysiert werden.
Bei der ersteren Möglichkeit, können die Ergebnisse je nach Suchmaschine und
Zeitpunkt stark schwanken (siehe Abbildung 2.1). Dadurch ist sie unzuverlässiger
als die zweite Variante. Zudem ist die Zusammensetzung des Korpus unbekannt.
Bei der zweiten Variante existieren die genannten Probleme nicht, da auf einer konstanten
Datengrundlage gearbeitet wird und eine Kontrolle über die ausgewählten
Webseiten gegeben ist. Problematisch ist jedoch, dass diese Methode sehr speicherund
rechenintensiv und somit nicht für alle Analysen geeignet ist.
Beide genannten Varianten benötigen Suchmaschinen, um auf das Web zugreifen
zu können. Nachfolgend werden die bekanntesten Suchmaschinen vorgestellt.
Suchmaschinen
Derzeit gibt es drei große Suchmaschinen auf dem Markt: Google 5 , Yahoo 6 und
Bing 7 (früher Microsoft Live Search). Weitere Suchmaschinen sind zum Beispiel:
Ask 8 , Altavista 9 oder Exalead 10 . Suchmaschinen unterscheiden sich hauptsächlich
in ihren Suchfunktionen, wie die Unterstützung von booleschen Ausdrücken oder
Stemming 11 , sowie in ihrem Index.
Als wichtige Suchfunktion bei der Suche nach Kookkurrenzen, ist hier der
NEAR-Operator zu nennen. Dieser Operator erlaubt es die Suche so einzugrenzen,
dass zwischen den Suchbegriffen nur eine bestimmte Anzahl anderer Begriffe
vorkommen dürfen. Die Größe des Fensters, und damit der Abstand der Suchbegriffe,
ist je nach Suchmaschine festgelegt oder frei wählbar. Unterstützt wird dieser
Operator von Altavista und Exalead, wobei der Abstand der Wörter bei Altavista
auf 10 festgelegt und bei Exalead frei wählbar ist. Offiziell wird der Operator von
Altavista nicht mehr unterstützt, aber er wird immer noch von der Suchmaschine
erkannt und liefert bei der Nutzung andere Ergebnisse als bei Nichtnutzung.
5 www.google.de
6 www.yahoo.de
7 www.bing.de
8 www.ask.com
9 www.altavista.de
10 www.exalead.de/search
11 Stemming = die Zurückführung verschiedener morphologische Varianten eines Wortes auf ihren
gemeinsamen Wortstamm
10