Web crawler: robot internetowy

> Dodaj do ulubionych

Program przeszukujący zasoby internetu i zbierający informacje o zawartości stron internetowych. Jednym z najważniejszych zadań robotów internetowych jest gromadzenie informacji o treści stron internetowych w celu dodania ich do wyszukiwarek. Do najbardziej znanych tego typu programów należy tzw. Googlebot, czyli robot internetowy firmy Google.