Webcrawler

Aus MedienWiki

Wechseln zu: Navigation, Suche

Webcrawler, auch Robots, Bots oder Spider, sind Computerprogramme, die meist von Suchmaschinen benutzt werden.

Funktionsweise

Die Crawler "surfen" von Link zu Link durchs WWW und, je nach Programierung, analysieren und indexieren die abgesuchten Seiten automatisch.

Es wird geschätzt das etwa 30-40% des Surface Web im Index von Suchmaschinen erfasst sind, allerdings stehen rießige Datenmengen des Deep Web dem Suchenden nicht zur Verfügung, da diese nicht von den Programmen erfasst sind.


Links

Persönliche Werkzeuge
Navigation
Organisatorisches