Найти - Пользователи
Полная версия: Поток задач
Начало » Python для экспертов » Поток задач
1
Evg
Вообщем есть такая задача.
Поток заданий сливается в таблицу и должен по мере свободных ресурсов быть обработан:
Вижу два пути:
1. скрипт который постоянно висит в памяти и постоянно щелкает эти задачи. Смущает его постоянное присутсвие в памяти и возможные утечки памяти.
2. скрипт запускается по крону очень часто. Но тут встает проблема как защититься от повторного запуска скрипта если предидущий запуск не завершил работу (чтобы не разраслось число запущенных скриптов). Как наиболее грамотно рещить эту задачу блокировки?

Кто, как видит идеальный вариант решения такой задачи?
Alex2ndr
Evg
2. скрипт запускается по крону очень часто. Но тут встает проблема как защититься от повторного запуска скрипта если предидущий запуск не завершил работу (чтобы не разраслось число запущенных скриптов). Как наиболее грамотно рещить эту задачу блокировки?
Сделать pid файл

Evg
Кто, как видит идеальный вариант решения такой задачи?
Все от задачи зависит. Первое что пришло в голову - много потоков и очереди :)
Ed
Я бы выбрал второй, если частота запуска из-под крона устраивает. Плюс локи элементарные на flock.
anti_social
Сельдерей как раз для вас: http://celeryq.org/docs/index.html
o7412369815963
я сделал по 1 варианту, работает стабильно уже более года
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB