DjangoBB LoFi version

Полная версия: Парсер с DOM последовательностью запросов

Начало » Web » Парсер с DOM последовательностью запросов

1 2

folt

Дек. 4, 2012 11:06:54

Парсер с DOM последовательностью запросов
Здравствуйте. Вот недавно делал парсер на делфи но так вышло что нашел ресурс получше для парсерства. В чем суть задачи:
1. Отправка запроса и выбор из выпадающего списка элемента (первого по умолчанию)
2. Отправка запроса и выбор из выпадающего списка элемента, во второе однострочное текстовое поле, (первого по умолчанию)
3. Получения ответа с сайта
4. Переход на вкладку расписания
5. Сбор информации картежа таблицы
6. Нажатие на вторую колонку таблицы (маршрут)
7. Сбор выпадающей таблицы
8. Занос данных в текстовый файл
Сейчас на первых двух пунктах. Прошу помощи и наставления в нужную сторону программистов питона. Спасибо за внимание

Doberman26rus

Дек. 6, 2012 09:50:24

Посмотри Grab. Мне нравится. ну и xpath тебе в руки

folt

Дек. 6, 2012 14:45:03

я смотрел эту примочку, но не могу реализавать выбор из выподающих вариантов, а без низ запрос не отправиться. что можно попробывать сделать?

Doberman26rus

Дек. 7, 2012 07:32:14

<title>HTML формы</title>
</head>
<body>
<form action="http://ab-w.net/info.php" method="post" name="drop_down_box">
<select name="menu" size="1">
<option value="first">Первая позиция</option>
<option selected="selected" value="second">Вторая позиция</option>
<option value="third">Третья позиция</option>
<option value="fourth">Четвертая позиция</option>
</select>
</form>

g = Grab()
g.go('some url')
g.tree.xpath('//select[@name="menu"]/option/@value')

список всех возможных вариантов в списке

folt

Дек. 7, 2012 11:05:35

этот подобный пример я где то уже видел на хаброхабаре. в моем случае немного не такая задача.
это текстовое поле, где при вводе выподают варинты ввода, потом при клике на нужную строку ввод подтверждаеться.

Doberman26rus

Дек. 7, 2012 13:15:22

Так это, голубчик мой, вам конкретно под реализацию разбираться надо. Если не секрет кидай ссылку я посмотрю.

folt

Дек. 7, 2012 23:59:35

http://ivctrans.by/all/first.php
вот ссылка, если будет желание, буду рад любой помощи

appetito

Дек. 8, 2012 12:32:05

Selenium + WebDriver - мне кажется то что нужно

folt

Дек. 8, 2012 20:19:37

смотрел тех документацию по нем, но того что мне нужно - не нашел как делать
бесперно, автоматизировать выполнения JS можно, но у меня конкретная проблема - выбор из выподающих вариантов. как добраться программно к этому?

PooH

Дек. 10, 2012 05:28:10

folt
но у меня конкретная проблема - выбор из выподающих вариантов. как добраться программно к этому

Список городов получают get запросом на http://ivctrans.by/all/getdata.php
c параметрами
PHPSESSID ну это понятно
timestamp= это для обхода кеширования в броузере
prog=тут виды запроса к серверу (station1 - список станций)
host=1 - тут не понял, но он всегда в единицу
q= первые три буквы названия
limit= количество строк

Данные прилетают разделенные “|”

508181|ДОМИНИКОВО|Копыльский р-н МИНСКАЯ ОБЛ. Беларусь
301302|ЕРЕМИНО-2|Гомельский р-н ГОМЕЛЬСКАЯ ОБЛ. Беларусь
201016|ЕРЕМИНО 1|Витебский р-н ВИТЕБСКАЯ ОБЛ. Беларусь
201327|ЕРЕМИНО 2|Витебский р-н ВИТЕБСКАЯ ОБЛ. Беларусь
301104|ЕРЕМИНО МАГ.|Гомельский р-н ГОМЕЛЬСКАЯ ОБЛ.
301012|ЕРЕМИНО ШК.|Гомельский р-н ГОМЕЛЬСКАЯ ОБЛ.
102158|КАТМИНОВЦЫ|Барановичский р-н БРЕСТСКАЯ ОБЛ.
201314|КОМИНТЕРН|Витебский р-н ВИТЕБСКАЯ ОБЛ. Беларусь

Похоже коды из какого-то справочника, так что можно даже запросы не делать а взять этот справочник