Найти - Пользователи
Полная версия: как организовать одновременный парсинг нескольких вебсайтов?
Начало » Python для экспертов » как организовать одновременный парсинг нескольких вебсайтов?
1
gtlhbkkj
предположим хочу парсить одновременно 10 сайтов. На каждый из 10 сайтов посылается специфический поисковый запрос. Там он какое-то время выполняется, потом парсится результат.
один вебсайт - одна прога парсинга, потому что вебсайты не идентичные
Если указать последовательное выполнение программ, то сначала пропарсится первый сайт, затем второй и так далее.
А как можно этот десяток запросов послать на десяток сайтов одновремено и одновременно обработать результаты запросов, чтобы съэкономить время на обработке запросов на этих сайтах?
zahar
multiprocessing
zahar
в помощь https://habr.com/ru/post/323238/
gtlhbkkj
zahar
в помощь https://habr.com/ru/post/323238/
спасибо. классно.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB