Python-сообщество

...
q = Queue() # создание очереди как объекта, к которому можно обращаться в Питоне
'''
здесь некоторый код, который строит очередь, например,
мы распарсили файловые имена папок с помощью re и os в список list,
а дальше queue строится добавлением элементов списка через цикл
'''
for item in list:
    q.put(item)

'''
создание очереди закончено, хотим теперь в несколько потоков (например, 10) обработать очередь c помощью "Работников"
'''
def worker(q):
    while True:
        a = q.get()
        print a
        q.task_done()

for i in xrange(10):
        t = Thread(target=worker, args=(q,))
        t.daemon = True
        t.start()
'''
ждем, пока очередь не опустеет
'''
q.join()

'''
простой пример для понимания - есть список на 1000 чисел,
пусть печать каждого числа и будет задачей для потока
'''
list = range(0,1000)
#print list

from Queue import Queue
from threading import Thread
q = Queue()


def worker_consume(q):
    '''
    '''
    while True:
        print q.get()
        q.task_done()

def worker_produce(q,list_of_items):
    while True:
        if len(list_of_items)>=2:
            q.put(list_of_items.pop())
            pass

for i in xrange(1,4):
    if i % 2 ==0:
        t = Thread(target=worker_produce, args=(q, list))
        t.setDaemon(True)
        t.start()
    else:
        t = Thread(target=worker_consume, args=(q,))
        t.setDaemon(True)
        t.start()
q.join()

'''
простой пример для понимания - есть список на 1000 чисел,
пусть печать каждого числа и будет задачей для потока
'''
list = range(0,1000)
#print list

from Queue import Queue
from threading import Thread
q = Queue()


def worker_consume(q):
    '''
    '''
    while True:
        '''
        обращение get() к q должен быть однократным
        поэтому если в качестве q загружается список или тапл, необходимо делать локальную копию объекта
        и обращаться по индексам к ней.
        в противном случае поток будет выхватывать по несколько заданий из очереди и , как показала практика, программа работает  непредсказуемо
        '''

        q.get()
        q.task_done()

def worker_produce(q,list_of_items):
    ''' 
    предыдущий вариант этой функции вёл к deadlock (может, и не дедлок, но программа просто переставала работать через некоторое время)
    '''
    while len(list_of_items)>0:
         q.put(list_of_items.pop())
    '''
    действительно, поток формирования очереди "умирает", как только очередь закончена, иначе  - висит
    '''

for i in xrange(1,4):
    if i % 2 ==0:
        t = Thread(target=worker_produce, args=(q, list))
        t.setDaemon(True)
        t.start()
    else:
        t = Thread(target=worker_consume, args=(q,))
        t.setDaemon(True)
        t.start()
q.join()

while True:
        if len(list_of_items)>=2:
            q.put(list_of_items.pop())
            pass