Смысл более-менее умного тредпула - чтобы сайт не зафлуживался запросами и не падал или не банил клиента.

По-моему, мы по разному понимаем слово тред-пул. В моём понимании это просто контроллер, позволяющий выполнить N задач в нескольких тредах, ограниченных числом M. Cобсно вот: https://bitbucket.org/lorien/grab/src/63c804b800d1/grab/tools/work.py - ни про какие сайты этот тред-пул не знает.

> Смысл более-менее умного тредпула - чтобы сайт не зафлуживался запросами и не падал или не банил клиента.
Я иногда думаю подобное написать, но чтобы написать универсальный настраиваемый менеджер потоков надо много энергии затратить. Проще кол-во потоков на глазок ставить. Сайт упал? Ставим меньше :D

Ну настроек должно быть ровно две - общее количество тредов и на (указанный) сайт. Первое, как я понимаю, уже есть?

Ага. То о чём вы говорите это скорее функционал Grab:Spider - это фреймворк для написания асинхронных спайдеров. Там можно подумать о нагрузке на конкретный сайт. На самом деле обычно спайдер обрабатывает один определённый сайт. Так что настройка общего кол-ва потоков автоматически превращается в настройку для кол-ва потоков для сайта.

Я бы вообще не рекомендовал использовать треды (thread, threading) для парсинга. Большое количество тредов жрёт память и процессор.

lorien
Я бы вообще не рекомендовал использовать треды (thread, threading) для парсинга. Большое количество тредов жрёт память и процессор.

Краеугольный камень срача “треды vs кооперативная многозадачность”.

Есть одна программка для проверки проксей. Так вот, при проверке она жрет лишь незначительно больше (ну, может, порядка 10 метров) при том, что она спавнит 500 тредов. ЧЯДНТ?

Что такое “большое количество тредов”? Я читал лишь о “проблеме 10 к соединений”, когда есть 10к+ соединений, где клиенты практически ничего не делают. 10к на клиенте - ситуация редкая, такое больше характерно для серверов.

И кооперативная многозадачность - вовсе не серебрянная пуля. Не говоря о том, что треды лучше параллелятся (для питона неактулально).

И вообще, здесь имхо это оффтоп. Этот тред о том, какое УГ встроенные средстра питона и как смачно питонистам рвет попки, когда им об этом говорят :))

Краеугольный камень срача “треды vs кооперативная многозадачность”.

Есть одна программка для проверки проксей. Так вот, при проверке она жрет лишь незначительно больше (ну, может, порядка 10 метров) при том, что она спавнит 500 тредов. ЧЯДНТ?

Что такое “большое количество тредов”? Я читал лишь о “проблеме 10 к соединений”, когда есть 10к+ соединений, где клиенты практически ничего не делают. 10к на клиенте - ситуация редкая, такое больше характерно для серверов.

И кооперативная многозадачность - вовсе не серебрянная пуля. Не говоря о том, что треды лучше параллелятся (для питона неактулально).

И вообще, здесь имхо это оффтоп. Этот тред о том, какое УГ встроенные средстра питона и как смачно питонистам рвет попки, когда им об этом говорят :))

не понял

lorien
не понял

Вообще ничего не понял? :) Speak russian?

lorien
Я бы вообще не рекомендовал использовать треды (thread, threading) для парсинга. Большое количество тредов жрёт память и процессор.

Вот это можете обьяснить?

asilyator
Не говоря о том, что треды лучше параллелятся (для питона неактулально).

смелое утверждение %) очередное горе от ума и не понимание GIL в полной мере.

asilyator
Этот тред о том, какое УГ встроенные средства питона и как смачно питонистам рвет попки, когда им об этом говорят :))

нормальный питонист надрывает живот, читая опусы о софте с 500 тредами, я когда-то уже писал, что высоконагруженные СУБД с 200Гб озу юзают пару тысяч тредов при 100% нагрузке на машинах с 64 CPU и им как бы хватает…, да и интересно какой у тебя интернет канал, чтоб рационально использовать 500 тредов + не убить сайт.

> Краеугольный камень срача “треды vs кооперативная многозадачность”.
Вы заблуждаетесь, я не учавствую в сраче. Просто рекомендую использовать асинхронность т.к. она меньше систему грузит. Если вам нравится использовать треды, ради бога.

О, а вот и первый пациент :)

slav0nic
asilyator
Не говоря о том, что треды лучше параллелятся (для питона неактулально).
смелое утверждение %) очередное горе от ума и не понимание GIL в полной мере.

Что многотредовое приложение на питоне не будет работать быстрее на многоядернике, чем на одноядернике с такой же частотой?

slav0nic
да и интересно какой у тебя интернет канал, чтоб рационально использовать 500 тредов + не убить сайт.

Ты две строчки способен прочесть?
Я написал о том, что даже на 500 тредах оверхед (правда, в приложении на делфях) абсолютно минимальный. Сколько нужно соединений, чтобы он стал заметным?