Cloud Computing Nutzen: Webcrawler

[ 1 ] April 19, 2010 |

Informationen sind im Internet weit verteilt und unorganisiert, wodurch für das Suchen, Abfragen, Verteilen und Verarbeiten dieser Daten hohe Anforderungen hinsichtlich der Verarbeitung und dem Speichern gestellt werden. Weiterhin werden moderne Algorithmen benötigt, mit denen diese Daten manipuliert, indiziert und die Anfragen der Benutzer beantwortet werden können. Der ständige Wandel innerhalb des Internets verstärkt zudem die Situation exakt die Informationen zu finden die gesucht wurden.

Mit Cloud Computing steht im Prinzip jedem die Möglichkeit bzgl. Speicherplatz und Rechenleistung zur Verfügung um einen eigenen Webcrawler zu entwickeln. Dazu müssen Dinge beachtet werden, die auch von der Infrastruktur eines Cloud Computing Anbieter erfüllt werden müssen, auf welcher der Webcrawler dann ggf. ausgeführt wird.

Zunächst stellt sich die grundsätzliche Frage, auf was für eine Infrastruktur zurückgegriffen werden muss, um ein skalierbares System aufzubauen, das den Herausforderungen des heutigen und vor allem zukünftigen Internets gewachsen ist. Das fängt bei der Speicherarchitektur zur Ablage sämtlicher Daten an, die davon abhängt, wie der zukünftige Speicherbedarf aussieht (Wachstumsrate) und wie viel Speicher tatsächlich notwendig ist. Weiterhin muss bedacht werden, wie dynamisch und skalierbar sich die Performance hinsichtlich der Indizierung und dem Durchsuchen der aktuellen und zukünftigen Daten sowie der grundsätzlichen Verarbeitung verhält.

Tags: , , , ,

Category: Management

René Büst

About the Author ()

Rene Buest is Senior Analyst and Cloud Practice Lead at Crisp Research, covering cloud computing, IT infrastructure, open source and Internet of Things. Prior to that he was Principal Analyst at New Age Disruption and member of the worldwide Gigaom Research Analyst Network. Rene Buest is top cloud computing blogger in Germany and one of the worldwide top 50 bloggers in this area. In addition, he is one of the world’s top cloud computing influencers and belongs to the top 100 cloud computing experts on Twitter and Google+. Since the mid-90s he is focused on the strategic use of information technology in businesses and the IT impact on our society as well as disruptive technologies. Rene Buest is the author of numerous professional cloud computing and technology articles. He regularly writes for well-known IT publications like Computerwoche, CIO Magazin, LANline as well as Silicon.de and is cited in German and international media – including New York Times, Forbes Magazin, Handelsblatt, Frankfurter Allgemeine Zeitung, Wirtschaftswoche, Computerwoche, CIO, Manager Magazin and Harvard Business Manager. Furthermore Rene Buest is speaker and participant of experts rounds. He is founder of CloudUser.de and writes about cloud computing, IT infrastructure, technologies, management and strategies. He holds a diploma in computer engineering from the Hochschule Bremen (Dipl.-Informatiker (FH)) as well as a M.Sc. in IT-Management and Information Systems from the FHDW Paderborn.

Leave a Reply

You must be logged in to post a comment.