Уведомления

Группа в Telegram: @pythonsu

#1 Окт. 20, 2008 03:55:10

-do
От:
Зарегистрирован: 2008-10-11
Сообщения: 15
Репутация: +  0  -
Профиль   Отправить e-mail  

модификация данных в строках

Есть текстовый файл, содержимое выглядит таким образом:

01-09-2008,1)Сидоров,2)14.05.1996,3)user@host.com,4)120.60,5)нет,6)Ушакова,7)26,8)15,\n
15:20,9)Иван,10)дополнительная текстовая информация,11)оценка,12)7.8,\n
01-09-2008,1)Кузнецова,2)27.02.1996,3)user2@host.com,4)115.10,5)нет,6)Ворошилова,7)4,8)102,\n
15:40,9)Мария,10)дополнительная текстовая информация,11)оценка,12)8.1,\n
......
После открытия и считывания содержимого файла, выделить пары строк с “общей для них информацией” и преобразовать в одну с включением данных со второй строки в определенные места первой строки и убрать индексы данных.
Все данные отделены друг от друга знаком «,» (запятой), в дополнительной текстовой информации данные “закавычены” (так,что запятые в ней не влияют), первые данные в строках это дата регистрации записи (она формируется автоматически для каждой записи) …

В итоге должно получиться вот это:

01-09-2008,15:20,Сидоров,Иван,14.05.1996,user@host.com,120.60,нет,Ушакова,26,15,дополнительная текстовая информация,оценка,7.8,\n
01-09-2008,15:40,Кузнецова,Мария,27.02.1996,user2@host.com,115.10,нет,Ворошилова,4,102,дополнительная текстовая информация,оценка,8.1,\n
......
вот такая вот головоломка :))))

Этот адрес: http://docs.python.org/index.html ЗНАЮ! :)))

Насчет почитать книг побольше — собрал практически всё, что можно и сидел просматривая и пробуя (если у кого-нибудь есть конкретная потребность в электронной книге могу поделиться при наличии у меня:)))))

Прошу хотя бы натолкнуть на мысль в какую сторону “рыть” и какими средствами (методами, функциями …) :)



Офлайн

#2 Окт. 20, 2008 07:11:18

igor.kaist
От:
Зарегистрирован: 2007-11-12
Сообщения: 1879
Репутация: +  3  -
Профиль   Отправить e-mail  

модификация данных в строках

O_o, сорри за лексику, но ниасилил я описание проблемы с утра. Можно было просто написать “что есть” и “что надо”.
Сейчас до работы доеду, попью кофе и напишу решение, заодно буду пропагандировать использовать sqlite :)



Отредактировано (Окт. 20, 2008 07:13:51)

Офлайн

#3 Окт. 20, 2008 08:58:39

timas
От:
Зарегистрирован: 2008-08-28
Сообщения: 60
Репутация: +  0  -
Профиль   Отправить e-mail  

модификация данных в строках

Текстовый файл сохрани как csv, а далее как-то так

import csv
import re

input_file = open("data.csv", "rb")
rdr = csv.reader(input_file)

second=1 #четная/нечетная строка
date=surname=time=name=""

for rec in rdr:
if second%2: #нечетная
date=rec[0]
surname=re.sub(r"^[0-9]+\)", "", rec[1])
else: #четная
time=rec[0]
name=re.sub(r"^[0-9]+\)", "", rec[1])
print date + ',' + time + ',' + surname + ',' + name
second+=1
Это только для первых двух полей в каждой строке, ну а дальше по аналогии



Офлайн

#4 Окт. 20, 2008 09:33:46

-do
От:
Зарегистрирован: 2008-10-11
Сообщения: 15
Репутация: +  0  -
Профиль   Отправить e-mail  

модификация данных в строках

Пересмотрев русскую и англоязычную литературу — не наткнулся на метод решения через строки, массивы, кортежи … подобной сортировки разнобойных данных (может быть плохо смотрел? :)))

По поводу CSV … задумывался, но думал возможно есть метод решения внутри питона в работе с массивами или кортежами с помощью регулярок и циклов сделать подобную сортировку … просто я начинающий познавать :))) если этот путь тупиковый (нет света в конце тоннеля то лучше предупредите сразу, чтобы время не терять :)))) …

можно, что-нибудь сделать вот так:

>>>t1 = open ('c://text.txt', 'r')
>>> t2 = t1.read().split(',')
>>> for line in t2:
if line.strip():
print line
вместо принта line записать в новый файл и потом регуляркой по индексам произвести нужную манипуляцию с перестановкой и вновь собрать строки уже с изменениями?

И еще … выше код с CSV основан на четности-нечестности строк, а если есть дополнительная информация в тексте файла в виде заголовков разделов которые нарушают четность строк при попадании? …

Каким путем лучше идти? Чтобы не слишком привязываться к шаблонному оформлению (четность/нечетность строк) или выпадение пустой ячейки (к примеру не указаны 6,7,8 индекс (адресные данные) …

Я понимаю, что Python могуч :))), но возможно из-за незнания переоценить его возможности и пойти не тем путем … :))))



Офлайн

#5 Окт. 20, 2008 12:39:39

ZAN
От:
Зарегистрирован: 2007-06-10
Сообщения: 403
Репутация: +  10  -
Профиль   Отправить e-mail  

модификация данных в строках

igor.kaist
Сейчас до работы доеду, попью кофе и напишу решение, заодно буду пропагандировать использовать sqlite smile
Зришь в корень. Если не хватает стандартного модуля csv, то почему бы не воспользоваться sqlite3?



Офлайн

#6 Окт. 20, 2008 14:13:19

igor.kaist
От:
Зарегистрирован: 2007-11-12
Сообщения: 1879
Репутация: +  3  -
Профиль   Отправить e-mail  

модификация данных в строках

В этом то и проблема что данные в разнобой… Данные должны с самого начала иметь четкую структуру, для этого как раз и придумали csv, xml и пр.
Ведь если попадаются исключения, то нужно предусмотреть все эти исключения.
вообщем можно сделать что то типа этого… набросок

sp=stroka.split(',') # получили список строк вида "4)120.60"
print 'date=',sp[0] # это дата
def get_numb(n,sp): # функция которая ищет значения поля по его номеру
for x in sp:
if x.startswith(str(n)):return x.split(')')[1]
return ''
print get_numb(1,sp)
Может не слишком элегантно, но работать должно, с чет-нечет строками я думаю разберешься.
Как записать в csv потом, думаю тоже разберешься…
ZAN
Зришь в корень. Если не хватает стандартного модуля csv, то почему бы не воспользоваться sqlite3?
Это сарказм? :-)



Офлайн

#7 Окт. 20, 2008 15:36:15

timas
От:
Зарегистрирован: 2008-08-28
Сообщения: 60
Репутация: +  0  -
Профиль   Отправить e-mail  

модификация данных в строках

Ну можно и без csv. Я просто использовал чтобы быстрей разбить на поля раз они отделяется запятыми. Можно использовать и без чет/нечет, просто регулярками проверять:
к примеру если первое поле в строке соответствует ^{2}\-{2}\-{4}$ - то это “нечетная” строка
если первое поле в строке ^{2}:{2}$ - то это “четная” строка.
Если ничему не соответствует, значит “заголовок” какой-нибудь и пропускаем его.

И если хочешь без CSV, можешь просто считывать строку и разбивать ее (split) через регулярку (что-то типа "+\.\)" ) на поля.



Отредактировано (Окт. 20, 2008 15:42:31)

Офлайн

#8 Окт. 20, 2008 15:39:34

bw
От:
Зарегистрирован: 2007-09-26
Сообщения: 938
Репутация: +  20  -
Профиль   Адрес электронной почты  

модификация данных в строках

Всё очень просто, но документация по языку, конечно не поможет. Просто нужно подумать.
Я разобью задачу на несколько подзадач. Сначала, давай, получим кортежи строк по две:

def read(text):
lines = text.splitlines()
while len(lines) > 1:
yield lines[0].strip(), lines[1].strip()
del lines[:2]
Результатом этого метода будет список кортежей, каждый кортеж будет содержать по две строки из источника text. Так как метод является генератором, то на выходе мы получим объект итератор, а не список как таковой. Это нужно учитывать. Что бы получить список, достаточно результат метода передать list, но я этого делать не буду.

Теперь из извлечем дату и время из кортежа, а так же откорректируем сам кортеж, т.е. вырежим из него эти элементы:
def cut_datetime(record):
date, _ = record[0].split(',', 1)
time, _ = record[1].split(',', 1)
record = record[0][len(date) + 1:], record[1][len(time) + 1:]
return date + ',' + time, record
Теперь пройдемся по оставщимся данным в кортеже и извлечем их в виде ключа и значения для каждой пары вида 1)Сидоров:
def extract(record):
data = record[0].strip() + ',' + record[1].strip()
for line in data.split(','):
line = re.search('^(\d+)\)(.*)$', line.strip())
if line:
key, value = line.groups()
key, value = int(key), value.strip()
yield key, value
Ну а теперь объеденим всё в кучу (лень дальше задачу дробить):
def process(text):
lines = []

for record in read(text):
datetime, record = cut_datetime(record)
record = dict(extract(record))
name = '%s,%s'%(record.pop(1), record.pop(9))

keys = record.keys()
keys.sort()
props = ','.join([record[key] for key in keys])

lines.append(datetime + ',' + name + ',' + props)

return '\n'.join(lines)
Надеюсь, разберешься.

p.s. process, это нужный тебе метод. Входом является необработынный набор строк, выходом - строки с упорядоченными данными.

..bw



Отредактировано (Окт. 20, 2008 15:41:03)

Офлайн

#9 Окт. 20, 2008 16:40:00

ZAN
От:
Зарегистрирован: 2007-06-10
Сообщения: 403
Репутация: +  10  -
Профиль   Отправить e-mail  

модификация данных в строках

igor.kaist
Это сарказм? :-)
Хм… Не подумал, что фраза может быть так воспринята.
Нет, не сарказм :-)



Офлайн

#10 Окт. 20, 2008 20:09:11

igor.kaist
От:
Зарегистрирован: 2007-11-12
Сообщения: 1879
Репутация: +  3  -
Профиль   Отправить e-mail  

модификация данных в строках

ZAN, а я долго думал сарказм это или нет :-)
я эту базу данных люблю.. Легкая, удобная и не требует установки.
По крайней мере быстрее чем csv должна быть. У меня рабочие проекты на ней держаться. 400 тыс записей, и хоть бы что..
Видел коммерческие проекты, которые требовали установки microsoft sql server, ради каких то нескольких тысяч записей.. Руки нужно оторвать этим программистам.
Толи дело sqlite3.. Кроссплатформенна, имеет бинды практически ко всем языкам программирования, а в случае с питоном, вообще идет в комплекте..
Система администрирования в зипе, всего 1.5 метра занимает :)
для данных, более 50 записей, sqlite3- мой выбор!
Агитация закончена :)



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version