Собственно полгода назад напоролся на штучку, опробовал все заработало с полоборота - сайты грузятся, как и ожидалось.
И сегодня дошли руки до экспериментов.
Сделал связку из scrapy + splash ( ну и еще psycopg2, но тут не суть).
В общем скрипт работать отказался:
Например, сайт http://www.circovoador.com.br/
и скрипт
function main(splash) assert(splash:go(splash.args.url)) splash:set_viewport_full() -- Wait split second to allow event to propagate. splash:wait(1) return { html = splash:html(), png = splash:png(), har = splash:har(), } end
Даст прекрасный белый экран, т.е. с некоторого момента загрузка рвется.
Вопрос вроде простой, а найти ответ в гугле не получается.
Заранее спасибо за ответы.