Цитата из книги «В одно касание. Бизнес-стратегии Google, Apple, Facebook, Amazon и других корпораций»

Веб-паук Алгоритм начинается с создания базы данных каждой страницы в интернете. Google использует программы, называемые «пауками», которые «ползут» по страницам, пока не найдут их все (или, по крайней мере, пока Google не решит, что этого достаточно). «Пауки» начинают с нескольких страниц и добавляют их в список страниц Google, называемый индексом. Затем они переходят по всем исходящим ссылкам на этих страницах и находят новый набор страниц, который добавляют в индекс. Далее они переходят по всем ссылкам уже на новых страницах и так далее, пока Google не найдет что-нибудь еще. Это непрерывный процесс; Google всегда добавляет новые страницы в индекс или обновляет их, если они меняются.