Уведомления

Группа в Telegram: @pythonsu

#1 Март 16, 2012 08:05:13

svas
От:
Зарегистрирован: 2010-01-27
Сообщения: 239
Репутация: +  9  -
Профиль   Отправить e-mail  

Расчет статистики для выборки большого объема

Требуется расчитывать различные характеристики (среднее, среднее квадратическое отклонение и т.д.) для выборки большого объема (порядка 100к, выборок будет тоже много). Как я понимаю, считать, когда это понадобится - долго. Поэтому решил высчитывать заранее и хранить результаты в базе данных. При добавлении элементов к выборке - пересчитывать значения. Проблема в том что выборки нужно группировать по разным параметрам (допустим 100к человек, сгруппировать по полу, возрасту и вывести значение среднего, среднеквадратического и т.д.). Кроме решения как хранить все группировки для всех выборок (т.е. хранить характеристики для выборки сгруппированной только по полу, только по возрасту, по полу и по возрасту) в голову не приходит. Может есть какое-нибудь другое решение? Если это самое оптимальное, не подскажите как лучше организовать “архитектуру” (не знаю как по-другому назвать) данного решения, желательно в моделях Django? (какие таблицы/модели с какими полями)



Офлайн

#2 Март 16, 2012 14:13:20

slav0nic
Команда
От: dp.ua
Зарегистрирован: 2006-05-07
Сообщения: 2260
Репутация: +  41  -
Профиль   Отправить e-mail  

Расчет статистики для выборки большого объема

100к это большая выборка? Вам же в клиент не возвращать её

короче советую погонять на базе, глянуть план запроса, построить индексы где надо
а джанга тут не при делах)

Офлайн

#3 Март 17, 2012 07:34:38

svas
От:
Зарегистрирован: 2010-01-27
Сообщения: 239
Репутация: +  9  -
Профиль   Отправить e-mail  

Расчет статистики для выборки большого объема

100к это большая выборка? Вам же в клиент не возвращать её
В клиент надо возвращать

а джанга тут не при делах)
Я имел ввиду, если расчитывать заранее, то как лучше таблицы создать, какие поля у таблиц и т.д.

короче советую погонять на базе, глянуть план запроса, построить индексы где надо
спасибо, попробую



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version