DjangoBB LoFi version

Начало » Python для новичков » Вопрос по генераторам

Bujhm666

Фев. 15, 2011 09:05:26

Есть код:

def readDbf(filename):

    db = Dbase()

    db.open(filename)

    num = db.get_numrecords()

    rec = []

    for i in xrange(0, num):

        record = db.get_record_with_names(i)

        if record['DUP']=='201101':

            rec.append(record)    

    db.close()

    return  rec

Пытаюсь изменить с использованием выражения-генератора:

def readDbf(filename):

    db = Dbase()

    db.open(filename)

    num = db.get_numrecords()

    rec = (db.get_record_with_names(i) for i in xrange(0, num))

    db.close()

    return  rec

Работает гораздо быстрее (обрабатывается около миллиона записей), но не пойму как добавить в генератор условие из первого кода: if record=='201101'

Борисенков Сергей

Фев. 15, 2011 10:34:01

Читаем: http://docs.python.org/whatsnew/2.4.html#pep-289-generator-expressions

rec = (db.get_record_with_names(i) for i in xrange(0, num) if db.get_record_with_names(i)['DUP']=='201101')

Bujhm666

Фев. 15, 2011 10:40:06

Я просто думал может есть другой способ, что бы не вызывать функцию дважды. Так намного увеличивается время обработки.

Борисенков Сергей

Фев. 15, 2011 11:00:35

Bujhm666
Я просто думал может есть другой способ, что бы не вызывать функцию дважды. Так намного увеличивается время обработки.

А в чем проблема?

rec = (db.get_record_with_names(i) for i in xrange(0, num) if db.get_record_with_names(i)['DUP']=='201101')

меняем на функцию-генератор:

def rec(num):
    for i in xrange(0,num):
       res=db.get_record_with_names(i)
       if(res['DUP']=='201101'):
           yield res

Bujhm666

Фев. 15, 2011 12:15:39

Надеюсь я правильно понял?

def rec(num, db):
    for i in xrange(0,num):
        res = db.get_record_with_names(i)
        if(res['DUP'] == '201101'):
            yield res

def readDbf(filename):
    db = Dbase()
    db.open(filename)
    num = db.get_numrecords()
    records = []
    for record in rec(num, db):
            records.append(record)    
    db.close()
    return  records

Фев. 15, 2011 12:50:32

И какой в этом смысл, если вы все равно делаете список в результате?

Bujhm666

Фев. 15, 2011 14:07:32

Просто пытался оптимизировать. И так как мне нужен именно список, наверно придется остановиться на генераторе списков:

rec = [db.get_record_with_names(i) for i in xrange(0,num) if(db.get_record_with_names(i)['DUP'] == '201101')]

Протестировал выражение-генератор, функцию-генератор и генератор списков, время выполнения практически одинаковое. 250 000 записей в районе 8-9 секунд на не особо мощном компе.

Фев. 15, 2011 14:58:15

Вы уверены, что вам нужен именно список? Что вы дальше делаете с тем, что вернула ваша readDbf?

Evol

Авг. 1, 2022 15:15:23

https://realpython.world/basics/list-generator.html вот хорошая статья по вашему вопросу, можете ознакомиться. Да и вообще на этом сайте много полезных статей, пользуйтесь, может быть пригодится кому ни будь