Python-сообщество

          
          #!/usr/bin/env python
          import Queue
          import threading
          import urllib2
          import time
          
          hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
          "http://ibm.com", "http://apple.com"]
          
          queue = Queue.Queue() #создание экземпляра класса, организующего очередь
          
          class ThreadUrl(threading.Thread):
          """Threaded Url Grab"""
            def __init__(self, queue):
              threading.Thread.__init__(self)
              self.queue = queue
          
            def run(self):
              while True:
                host = self.queue.get() #выбираем первый элемент из очереди
            
                url = urllib2.urlopen(host) # обрабатываем
                print url.read(1024)          # его
            
                self.queue.task_done() # вот это не понимаю зачем здесь
          
          start = time.time()
          def main():
          
            # создаем 5 потоков. только не понятно, что они будут делать, если очередь сейчас пуста? просто в фоне висеть?
            for i in range(5):
              t = ThreadUrl(queue)
              t.setDaemon(True) 
              t.start()
           # только здесь мы добавляем элемент в очередь
              for host in hosts:
                queue.put(host)
           # не понимаю, зачем join() здесь    
           queue.join()
          
          main()
          print "Elapsed Time: %s" % (time.time() - start)

#!/usr/bin/python

import urllib, sys, threading, Queue, datetime
start = datetime.datetime.today().second+int(datetime.datetime.today().minute)*60
proxylist = open('proxy.txt', 'r')
count = len(proxylist.readlines())

proxylist = open('proxy.txt', 'r')
goodproxy = open('goodproxy.txt', 'w')
countproxy = count

class thread(threading.Thread):
    def run(self):
        while 1:
            global countproxy
            proxy = proxypool.get()
            if proxy != None:
                proxies = {'http': 'http://'+proxy}
                try:
                    urllib.urlopen('http://google.ru', proxies=proxies)
                    goodproxy.write(proxy)
                    countproxy = countproxy - 1
                    print countproxy
                    #sys.stdout.write('\r'+'Proxy left -- '+'%d' % countproxy)
                    #sys.stdout.flush()
                except:
                    countproxy = countproxy - 1
                    print countproxy
                    #sys.stdout.write('\r'+'Proxy left -- '+'%d' % countproxy)
                    #sys.stdout.flush()
            proxypool.task_done()


proxypool = Queue.Queue()
threads = 100

for i in range(threads):
    t = thread()
    t.setDaemon(True)
    t.start()

for line in proxylist.readlines():
    proxypool.put(line)

while 1:
    if countproxy == 1:
        proxylist.close()
        goodproxy.close()
        end = datetime.datetime.today().second+int(datetime.datetime.today().minute)*60
        result = int(end)-int(start)
        print 'Time: '.result
        break