Themenspezifische Informationssuche im Internet mit Hilfe mobiler Programme

Abstract

Das Forschungsgebiet der Informationssuche (Information Retrieval) wird durch das Aufkommen des Internets bzw. des World Wide Web mit völlig neuen Herausforderungen konfrontiert. Im Gegensatz zu herkömmlichen Datenbeständen zeichnet sich das Internet durch seinen immensen Umfang, eine hohe Dynamik, die Heterogenität seiner Inhalte sowie die Verteilung über Rechner auf der ganzen Erde aus. Um auch in diesem Informationsraum präzise, effizient und umfassend nach Informationen suchen zu können, wird in dieser Arbeit ein Konzept zur Spezialisierung von Suchmaschinen auf einzelne Themengebiete vorgeschlagen. Solche Suchmaschinen erkennen die für sie relevanten Dokumente anhand einer speziellen Filterfunktion und können ihren Benutzern eine themenspezifische Benutzungsschnittstelle und Suchfunktionalität bieten. Um die für eine spezialisierte Suchmaschine relevanten Dokumente effizient zu lokalisieren, wird die Technologie der mobilen Programme eingesetzt. Anstatt alle zu untersuchenden Dokumente zur Suchmaschine zu übertragen, werden mobile Filterprogramme zu den Datenbeständen gesandt, untersuchen diese 'vor Ort' und liefern lediglich die relevanten Dokumente zurück. Es werden Verfahren vorgestellt, mit denen die Aussendung der mobilen Programme so koordiniert werden kann, dass die resultierenden Kommunikationskosten minimiert werden. Da von diesen Aussendungsverfahren Kenntnisse über die netzwerktechnische Entfernung zwischen den beteiligten Rechnern benötigt werden, wird zudem ein Ansatz vorgestellt, der die Schätzung beliebiger Netzwerkdistanzen im Internet auf skalierbare und effiziente Weise ermöglicht. Die Tragfähigkeit der Konzepte zur Schätzung von Netzwerkdistanzen und zur Aussendung mobiler Programme wird anhand umfangreicher Messungen evaluiert. Zudem wird in einer Fallstudie der Nutzen der themenspezifischen Suchmaschinen sowie der in ihrem Kontext erfolgende Einsatz mobiler Filterprogramme analysiert.

Research on information retrieval has been challenged in a new way by the increasing importance and usage of the Internet and especially the World Wide Web. In contrast to traditional data bases, the information space Internet is characterized by its enormous size, the dynamics of its content, the heterogeneity of the documents and formats and by the distribution of the available documents among hosts all over the world. This thesis presents a new approach for search engines, which are specialized to single domains, thus enabling the precise, efficient and comprehensive retrieval of searched information. Such search engines use a domain specific filter function for recognizing relevant documents and are able to offer a user interface and retrieval functionality that are adapted to the specific domain. For locating relevant documents in a fairly efficient way we rely on mobile program technology. Instead of downloading the documents to be analysed to the search engine, we send out mobile filter programs towards the relevant data sources. The mobile programs analyse the data locally and return only the relevant part of it. We present algorithms that allow to coordinate the program dissemination such that the resulting communication costs are minimized. Since the dissemination algorithms need to know the network distance between the involved hosts we also present an approach for estimating the network distance between arbitrary hosts in the Internet in a scalable and efficient way. We evaluate the methods for estimating network distances and for disseminating mobile filter programs on the basis of extensive measurements in the Internet. In addition, we present a case study in order to analyse the benefit of specialized search engines and especially of the employment of mobile filter programs in the context of such search engines.