Python-сообщество

import urllib.request
from bs4 import BeautifulSoup
from bs4.element import Comment, SoupStrainer

name='Idiotbox'
servername='magtheridon'
baseurl='http://us.battle.net/wow/eu/character/'+servername+'/'+name+ '/statistic#21:153'
urldecod=urllib.request.quote(baseurl,'/,:,#','utf-8')
url=urllib.request.urlopen(urldecod)

soup = BeautifulSoup(url)
wow_class=soup.findAll('a',{'class':'class'})
wow_race=soup.findAll('a',{'class':'race'})
dl=soup.findAll('dl',{'class':'odd'})

print(wow_class,wow_race,dl)

[<a class="class" href="/wow/en/game/class/mage">Mage</a>] [<a class="race" href="/wow/en/game/race/troll">Troll</a>] [<dl class="odd">
<dt>Total kills that grant experience or honor</dt><dd>						169,467
</dd>
</dl>, <dl class="odd">
<dt>Vanity pets owned</dt><dd>						11
</dd>
</dl>, <dl class="odd">
<dt>Total factions encountered</dt><dd>						56
</dd>
</dl>, <dl class="odd">
<dt>Most factions at Revered or higher</dt><dd>						31
</dd>
</dl>]

Process finished with exit code 0

import StringIO
import html5lib
import lxml
import lxml.html

def ParserImages(html_text):
	""" Парсер картинок (ссылок на изображения) """
	
	# Создаем объект для парсинга
	parser = html5lib.HTMLParser(tree=html5lib.treebuilders.getTreeBuilder("lxml"))
	doc_tree = parser.parse(StringIO.StringIO(html_text))
	find_img =  lxml.etree.XPath(".//html:img", namespaces={"html":"http://www.w3.org/1999/xhtml"})
	
	# Распарсиваем
	img_list = []
	for node in find_img(doc_tree):
		src = node.get("src")
		if src == None:
			continue
		img_list.append(src)		
	
	return img_list

def ParserForms(html_text):
	""" Парсер форм на странице """
	form_list = []
	
	# Создаем объект для парсинга
	parser = html5lib.HTMLParser(tree=html5lib.treebuilders.getTreeBuilder("lxml"))
	doc_tree = parser.parse(StringIO.StringIO(html_text))
	
	# Парсим формы
	forms = []
	find_form = lxml.etree.XPath(".//html:form", namespaces={"html":"http://www.w3.org/1999/xhtml"})
	for node in find_form(doc_tree):
		forms.append(node)
	
	# Парсим элементы форм
	find_input = lxml.etree.XPath(".//html:input", namespaces={"html":"http://www.w3.org/1999/xhtml"})
	for form in forms:
		""" name, action, input=['name':'value'] """
		tmp_form = {}
		tmp_form['name']   = form.get('name')
		tmp_form['action'] = form.get('action')
		tmp_form['input']  = {}
		
		# Ищем элементы	
		#form_tree = parser.parse(StringIO.StringIO(lxml.etree.tostring(form)))				
		for node in form.findall(".//html:input", namespaces={"html":"http://www.w3.org/1999/xhtml"}):
			tmp_form['input'][node.get('name')] = node.get('value')
			
		
		form_list.append(tmp_form)	
	return form_list

baseurl='http://us.battle.net/wow/eu/character/'+servername+'/'+name+ '/statistic#21:153'

<li id="cat-153" class="table" style="display: none">

[<dl class="odd">
<dt>Сыгранные сражения на рейтинговом поле боя</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Рейтинговое поле боя, на котором вы были чаще всего</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Выигранные сражения на рейтинговом поле боя</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Рейтинговое поле боя, на котором вы одержали больше всего побед</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Победы в Альтеракской долине</dt><dd>						29
</dd>
</dl>, <dl class="odd">
<dt>Победы в Низине Арати</dt><dd>						33
</dd>
</dl>, <dl class="odd">
<dt>Побед в Битвах за Гилнеас</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Победы на Оке Бури</dt><dd>						25
</dd>
</dl>, <dl class="odd">
<dt>Победы на Береге Древних</dt><dd>						29
</dd>
</dl>, <dl class="odd">
<dt>Побед в Двух Пиках</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Победы в Ущелье Песни Войны</dt><dd>						31
</dd>
</dl>, <dl class="odd">
<dt>Победы на Острове Завоеваний</dt><dd>						13
</dd>
</dl>, <dl class="odd">
<dt>Количество захваченных башен в Альтеракской долине</dt><dd>						4
</dd>
</dl>, <dl class="odd">
<dt>Захвачено флагов в Двух Пиках</dt><dd> <span class="empty">--</span>
</dd>
</dl>, <dl class="odd">
<dt>Количество захваченных флагов в Ущелье Песни Войны</dt><dd>						3
</dd>
</dl>]