Есть мысль сделать парсер для дневника https://mrko.mos.ru/dnevnik/
Дано:
Есть малинка ( Raspberry PI 2 ), начальные знания по Python и.т.п.
Хочется сделать парсер дневника, который будет по расписанию ( скажем раз в час ) шарить по дневнику моих двух бойцов и вытаскивать оттуда домашние задания и оценки.
Для начала хочу, чтобы просто выводиласть web-страничка, которая в простом виде показывала домашку и оценки на следующий день по выбранному пользователю.
Впоследствии хочется запилить вывод всего этого богатства на экран малины и посылку смс-ок выбранным адресатам с домашками и оценками.
Уперся прямо с самого начала.
Использовал requests и lxml.
import lxml.html as html import lxml.etree as etree import requests import json s = requests.Session() cookie = {ТУТКУЧАКУКИСОВКОТОРЫЕОТЛОВИЛСПРЕДЫДУЩИХСЕССИЙ} url = 'https://mrko.mos.ru/dnevnik/services/dnevnik.php' data={'login': 'ТУТЛОГИН', 'pass': 'ТУТПАРОЛЬ', 'password' : 'ТУТНЕВЕДОМЫЙПАРОЛЬ', 'submit': 'ХЗЧЕГО'} headers={'Referer':'https://pgu.mos.ru/ru/application/dogm/journal'} params = {'next': '2015-12-21'} req=s.post(url, json=data, headers=headers, params=params, cookies=cookie ) parser = etree.HTMLParser() tree = etree.fromstring(req.text.encode('utf-8'), parser=parser) #f = open('/var/www/FlaskApp/FlaskApp/resp.html',u'w') #f.write(r.text.encode('utf-8')) #f.close() d = tree.xpath("//div[@class='b-diary-st__body']")
Вначале нашел статью на хабре Your text to link here…
Используя приблуду указанную в статье, выяснил header и потом cookie.
Без cookie работать категорически отказалось.
Когда таки получил внятный ответ, радости не было предела!
Но счастье было недолгим. Ровно до завтра. Пробило полночь и карета превратилась в тыкву.
Старые куки не работали.
Подозреваю, что там есть завязка на день или какой-нить айди завязан на таймаут.
Вопрос в том, можно ли без куки пробиться к этому детищу государственного вебмастеринга ?