DjangoBB LoFi version

Полная версия: Исключение при скачивании файла

Начало » Network » Исключение при скачивании файла

Linch

Март 8, 2014 18:07:10

Есть некоторый файл который лежит в по адресу http://download.thinkbroadband.com/10MB.zip.
Я хочу его скачать. Пишу следующий код:

url = "http://download.thinkbroadband.com/10MB.zip"
response = urllib2.urlopen(url)

И как результат выскакивает исключение

HTTPError: HTTP Error 503: Service Temporarily Unavailable

Хотя при загрузке через браузер или wget все работает нормально… В чем проблема?

lorien

Март 9, 2014 18:06:05

Защита против ботов. Используйте соответствующие библиотеки, которые делают запросы, похожие на те, что делает браузер. Или делайте это вручную через urllib (типичные HTTP заголовки, обработка cookies, правильный user agent) и т.д.

>>> from grab import Grab
>>> g = Grab()
>>> g.go("http://download.thinkbroadband.com/10MB.zip")
<grab.response.Response object at 0x7f0c5585e9f0>
>>> len(g.response.body)
10485760