Werkzeugunterstützung für komplexe Webrecherchen

Abstract

Wissen bzw. der Wissensvorsprung gegenüber Wettbewerbern stellt im unternehmerischen Umfeld ein zunehmend gefragtes Gut dar. Mehr und mehr Informationsquellen werden erschlossen, um diesen Vorteil der Informiertheit und die damit einhergehende Sicherheit zu erreichen und auszubauen. In den letzten Jahren bspw. wurde unter dem Stichwort „Data Mining“ hoher Aufwand in die Erschließung von unternehmensinternen Informationsquellen wie ERP- oder PPS-Systemen investiert, um die in den Datenbanken dieser Systeme verborgenen Informationen zu verarbeiten und entsprechendes Wissen daraus abzuleiten. Durch immer schnellere Innovationszyklen und Produktfolgen wächst jedoch der Druck, sich neuen Aufgaben und Herausforderungen zuzuwenden und sich ggf. auf technologisches oder methodisches Neuland zu begeben. Neue Wissensquellen müssen hierzu erschlossen werden, da innerhalb der jeweiligen Unternehmung, insbesondere bei kleineren Firmen, das benötigte Wissen oftmals nicht vorhanden ist. Mit dem WWW hat sich eine Informationsbasis etabliert, die nahezu unerschöpflich ist. Informationen und Daten zu beliebigen Themen werden dort vorgehalten und harren ihrer Auswertung. Genau hierin besteht jedoch die Schwierigkeit. Existierende Werkzeuge, insbesondere herkömmliche Suchmaschinen, bieten dem Benutzer bei der Suche im Rahmen verhältnismäßig einfacher Fragestellungen, wie bspw. der Suche nach bekannten Fakten, eine weitgehende Unterstützung. Werden die Fragestellungen jedoch komplexer in dem Sinne, dass das Ergebnis der Suche kein einfaches Faktum sein kann, sondern vielmehr das Resultat eines aufwändigen Analyseprozesses, so existiert hierfür kaum Werkzeugunterstützung. Die Durchführung einer solchen komplexen Recherche ist somit für den Benutzer zeitaufwändig und wenig effektiv, da ein hoher manueller Aufwand für die weiter gehende Analyse von ersten Suchresultaten erbracht werden muss. Im Rahmen dieser Arbeit werden nun Konzepte vorgeschlagen, wie solche komplexen Recherchen besser durch Werkzeuge unterstützt werden können. Es wird dazu eine Software-Plattform als Basis für die Entwicklung von Suchwerkzeugen zum Einsatz in komplexen Webrecherchen diskutiert. Aufbauend auf dieser Plattform wurden verschiedene Suchwerkzeuge konzipiert, die im Anschluss präsentiert werden: eine Entwicklungs-Komponente zur webpräsenzspezifischen Analyse von Dokumenten, eine Komponente bzw. ein Maß zur Berechnung der inhaltlichen Ähnlichkeit von Texten, um Suchen schnell auf thematisch relevante Bereiche einzugrenzen, sowie eine Technik zur Informationsextraktion aus diesen Texten. Diese Konzepte bilden die Grundlage für eine weiter gehende Unterstützung des Anwenders bei komplexen Webrecherchen, als herkömmliche Suchmaschinen sie zu leisten vermögen. Zudem werden Entwickler von Suchwerkzeugen in die Lage versetzt, schnell und effizient auf ein Suchproblem zugeschnittene Werkzeuge oder Werkzeugkomponenten zu entwickeln, und diese zu integrieren. Die vorgeschlagenen Konzepte werden in Bezug auf ihre Leistungsfähigkeit evaluiert. Anhand eines übergreifenden Anwendungsbeispiels wird dann deren Zusammenspiel erläutert und der Mehrwert dieser Lösungen gegenüber herkömmlichen Werkzeugen dargestellt.

Knowledge and the knowledge edge over competitors is gaining more and more importance in the business environment. New sources of information are developed in order to get more information and a more reliable basis for strategic decisions than any competitor and thus to gain a competitive edge. In recent years, for example, high effort was spent in developing company internal information sources such as ERP or PPS systems by means of „Data Mining“, in order to process the information that is hidden in the databases of these systems and to derive new valuable knowledge from them. However, increasingly rapid cycles of innovation lead to an increased pressure to face new challenges and to focus on technological and methodological new territory. Therefore, new sources of knowledge must be developed, as the necessary knowledge often does not exist within the company, especially within smaller companies. The WWW forms an information basis that is virtually inexhaustible. It holds information and data on almost any topic and these information are awaiting their anaylsis and utilization. Yet, this is where difficulties arise. Existing tools such as conventional search engines provide valuable help to the user, especially for simple information needs such as searching for known issues. However, there is little tool supprort if complexity of such an information need increases in a way that it cannot be satisfied by answers consisting of simple facts but if it requires a complex analysis of many resources. Thus, manually processing such complex searches is highly time consuming and little effective, as lots of data have to be read and evaluated by the user. The concepts proposed in this dissertation aim to enhance the tool support for complex web searches: A search framework builds the basis for developing new search tools and for integrating them. On top of this framework, several tools have been designed and implemented: a subframework for the website-specific analysis of resources, an approach to measure the semantic relatedness of two texts in order to quickly focus the search on areas of the web that are relevant for the current search, and finally a concept for extracting information from these resources. These concepts form the basis for better supporting the user in complex search problems. Furthermore, developers of search tools are supported in efficiently creating tools and components that are specific to a given search problem and in integrating them. The approaches proposed here are each evaluated in terms of their performance. A comprehensive business case then illustrates their interaction and points out the value of these solutions compared to conventional tools.