Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 21, 2013 11:32:23

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

axe
Тормоза случаются ночью
Так может это плановая деградация из-за параллельно проводимого обслуживания (backup, например)?



Офлайн

#2 Ноя. 21, 2013 11:52:36

axe
От:
Зарегистрирован: 2008-08-07
Сообщения: 256
Репутация: +  0  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

Нет, это обычная нагрузка у клиента. У них-то день.



Офлайн

#3 Ноя. 26, 2013 13:04:45

axe
От:
Зарегистрирован: 2008-08-07
Сообщения: 256
Репутация: +  0  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

top -p 587 и shift+H в нём показали следущее:

897 root 20 0 3419m 2.9g 11m R 68.2 3.1 900:39.19 python26
587 root 20 0 3419m 2.9g 11m S 20.0 3.1 197:38.64 python26
т.е. второй тред в приложении начинает есть гораздо больше процессорного времени, чем ему положено.



Офлайн

#4 Ноя. 26, 2013 21:22:30

o7412369815963
От:
Зарегистрирован: 2009-06-17
Сообщения: 1986
Репутация: +  32  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

Ест не 100% - значит питон справляется, и тормоза где-то в другом месте.
Сколько ядер в процессоре на этом сервере?
В шапке top-a что пишет? Особенно %cpu интеренсен в момент тормозов.

Что-б не ждать момент, можно “top -n 1” в лог по крону складывать.

Офлайн

#5 Ноя. 27, 2013 08:40:52

axe
От:
Зарегистрирован: 2008-08-07
Сообщения: 256
Репутация: +  0  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

перед тем как посмотреть в top я посмотрел в atop (который только вчера появился):

PID RUID EUID THR SYSCPU USRCPU VGROW RGROW RDDSK WRDSK ST EXC S CPUNR CPU CMD 1/29
31103 root root 2 18.47s 2.19s 104K -23.9M 0K 84K – - S 3 77% python26
16359 oracle oracle 1 0.13s 22.40s 0K 2376K 144.2M 536K – - R 14 85% oracle
получается, что у моего процесса SYSCPU выше чем у любого другого на два порядка

Информация из шапки top:
top - 01:35:28 up 168 days, 11:08, 1 user, load average: 5.04, 4.50, 3.81
Tasks: 415 total, 4 running, 411 sleeping, 0 stopped, 0 zombie
Cpu(s): 8.9%us, 1.4%sy, 0.0%ni, 86.2%id, 3.5%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 99194568k total, 89212636k used, 9981932k free, 148404k buffers
Swap: 41943036k total, 2881752k used, 39061284k free, 75917864k cached
grep -c ‘^processor’ /proc/cpuinfo показывает 16



Офлайн

#6 Ноя. 27, 2013 09:42:44

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

ИМХО: А не оракл ли отжирает на себя ввод/вывод, а питоновский скрипт в это время корчится в блокировке?
Посмотрите на RDDSK и WRDSK

PS: Посмотрите еще на состояние процессов в выводе:
у питона S = sleeping



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Отредактировано PooH (Ноя. 27, 2013 09:49:07)

Офлайн

#7 Ноя. 27, 2013 11:43:30

axe
От:
Зарегистрирован: 2008-08-07
Сообщения: 256
Репутация: +  0  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

после запуска atop:

через несколько секунд atop показывает

на этих картинках мой процесс 31103



Офлайн

#8 Ноя. 27, 2013 11:56:09

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

axe
после запуска atop:через несколько секунд atop показываетна этих картинках мой процесс 31103
На второй картинке мы видим что оракл пашет как трактор. А скажите, ваш скрипт с базой работает?



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Офлайн

#9 Ноя. 27, 2013 13:01:04

axe
От:
Зарегистрирован: 2008-08-07
Сообщения: 256
Репутация: +  0  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

После того, как файл обрабатывается скриптом, файл далее идёт в базу.



Офлайн

#10 Ноя. 27, 2013 14:41:14

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

замедление работы с диском при увеличении нагрузки на сервер

Как настроен прирост tablespace базы?
Индексы не мешают записи?

Может быть вы выложите небольшой схематический набросок последовательности операций системы из вашей доки?
В одном из постов вы пишете, что обработчик из файла берет и в другой файл складывает.
А теперь откуда-то появилась база.
Это путает.



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version