import urllib2, ssl context = ssl._create_unverified_context() urllist = ['https://www.pochta.ru', 'http://lectureswww.readthedocs.org/', 'http://9gag.com', 'http://ya.ru'] handler = urllib2.HTTPSHandler(context=context) for url in urllist: request = urllib2.Request(url) request.add_header('User-Agent', 'Mozilla 5.10') opener = urllib2.build_opener(handler) response = opener.open(request) if response.headers.get('Last-Modified'): print " ".join([url, response.headers.get('Last-Modified')])
roman@roman-Satellite-A300:~/Documents/python/py$ python check.py http://lectureswww.readthedocs.org/ Thu, 29 Oct 2015 16:10:13 GMT http://ya.ru Thu, 17 Dec 2015 14:20:37 GMT
Никак не пойму, почему при отправке запроса на ресурсы из списка только у яндекса и http://lectureswww.readthedocs.org/в headers есть etag и last-modified? Гуглил, ничего для решения вопроса не нашел. Очень прошу помочь.