Первое, что вам нужно понять, – принцип работы поискового робота.
Поисковый робот – это алгоритм парсинга или программа, собирающая данные в рамках определенного ресурса с целью дальнейшей передачи на обработку и индексирование.
Индексация данных – добавление собранной ранее информации в поисковую систему. По сути, это присвоение номера в базе данных. Именно с этого момента сайт начинают находить в поиске по URL, иногда – по бренду.