Python-сообщество

Здравствуйте! Использую библиотеку pyCURL для Python 2.*

Пытаюсь сохранять посиковую выдачу яндекса по интересным мне запросам, с гуглом проблем нет, всё работает нормально, а яндекс на 3-5 запросы выдаёт ОЙ - запросы автоматические.

В коде подсовываю куки -

c.setopt(pycurl.COOKIEJAR, ‘cookie.txt’);
c.setopt(pycurl.COOKIEFILE, ‘cookie.txt’);

так же эмитирую работу браузера

c.setopt(pycurl.FOLLOWLOCATION, 1)
c.setopt(pycurl.MAXREDIRS, 5)
c.setopt(pycurl.CONNECTTIMEOUT, 60)
c.setopt(pycurl.TIMEOUT, 120)
c.setopt(pycurl.NOSIGNAL, 1)
c.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)')
httpheader = [
‘Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3’,
‘Accept-Charset:utf-8;q=0.7,*;q=0.5’,
‘Connection: keep-alive’,
]

Задержка между запросами - 150 секунд. Гугл “хавает” сколько угодно запросов, а яндекс очень быстро банит.
Публичные прокси сервера, яндекс распознает тоже давольно-таки быстро. Игрался с подменой юзерагентов при каждом новом запросе - толку тоже 0.
Есть-ли у кого опыт обхода ОЙяндекса, буду рад услышать решения. Спасибо.

Отредактировано Effaceurs (Март 1, 2015 18:16:11)