Существуют готовые программы, которые разрабатывались специально для парсинга (такие как Content Downloader X1, Datacol).