Найти - Пользователи
Полная версия: Расчет статистики для выборки большого объема
Начало » Python для экспертов » Расчет статистики для выборки большого объема
1
svas
Требуется расчитывать различные характеристики (среднее, среднее квадратическое отклонение и т.д.) для выборки большого объема (порядка 100к, выборок будет тоже много). Как я понимаю, считать, когда это понадобится - долго. Поэтому решил высчитывать заранее и хранить результаты в базе данных. При добавлении элементов к выборке - пересчитывать значения. Проблема в том что выборки нужно группировать по разным параметрам (допустим 100к человек, сгруппировать по полу, возрасту и вывести значение среднего, среднеквадратического и т.д.). Кроме решения как хранить все группировки для всех выборок (т.е. хранить характеристики для выборки сгруппированной только по полу, только по возрасту, по полу и по возрасту) в голову не приходит. Может есть какое-нибудь другое решение? Если это самое оптимальное, не подскажите как лучше организовать “архитектуру” (не знаю как по-другому назвать) данного решения, желательно в моделях Django? (какие таблицы/модели с какими полями)
slav0nic
100к это большая выборка? Вам же в клиент не возвращать её

короче советую погонять на базе, глянуть план запроса, построить индексы где надо
а джанга тут не при делах)
svas
100к это большая выборка? Вам же в клиент не возвращать её
В клиент надо возвращать

а джанга тут не при делах)
Я имел ввиду, если расчитывать заранее, то как лучше таблицы создать, какие поля у таблиц и т.д.

короче советую погонять на базе, глянуть план запроса, построить индексы где надо
спасибо, попробую
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB