Привет всем.
Возможно средствами питона скачать HTML страницу ? Проблема в том, что она формируется динамически с помощью javascript - запускается функция, которая генерит url, достает оттуда данные и размещает их на сайте.

пример http://www.usatoday.com/tech/products/software/2007-06-11-apple-safari-windows_N.htm?loc=interstitialskip

В общем случае - задача нетривиальная. Так-как для выполнения JS всетки броузер нужен.
Есть конечно разные плагины.. для управления броузером через Python…..

В конкретике проще.
Можно например расковырять как работает JS. Ведь он же по какому-то правилу URL формирует. %)
И это потворить на питоне.

P.S. Хм. А что с этой страницы надо вытащить http://www.usatoday.com/tech/products/software/2007-06-11-apple-safari-windows_N.htm?loc=interstitialskip ?
Комменты?

shiza
Хм. А что с этой страницы надо вытащить http://www.usatoday.com/tech/products/s … titialskip ?
Комменты?

- Угу

lorien
Можно посмотреть, что делает JS, если ничо шибко магического, то просто переписать на python )

Магия вся до 3 уровня :) , просто таких страниц много. Ковырять все скрипты - маны не хватит.
Была слабая надежда, что кто-то уже изобрел велосипед.

может попробовать IE ActiveX / FF xpcom/pyuno ? хотя на jscript / javascript это втоде сделать проще.

еще посмотрите на :
http://wwwsearch.sourceforge.net/
http://wwwsearch.sourceforge.net/mechanize/