Python-сообщество

http://apsw.googlecode.com/svn/publish/vfs.html

http://fossil.wanderinghorse.net/repos/whefs/index.cgi/wiki/whefs але біндити треба буде самому,+ під віндовсом неперевірено

Отредактировано (Март 2, 2009 21:44:43)

http://www.scalingweb.com/embedded_file_system.php на С++/QT4

Отредактировано (Март 2, 2009 21:43:39)

ZZZ
Ну он вообще-то для этого и создан. Не знаю, как оно работает в SQLite, но вот в моём любимом PostgreSQL оно работает замечательно. Проверено.

Нет, Lexander, совсем нет. Я не полезу сейчас в доку, то в двух словах я описал выше. Select'ом ты получаешь id объекта в DB, который открываешь (что-то типа blob_open(id, “rw”)). Потом ты спокойно пишешь туда и оно сразу пишется в базу (про систему кешей забудем). И также читается.
Фактически работает с файлом в DB.
По крайней мере это верно для Постгри. И судя по всему для SQLite из Си.

clopomor… Это интересно. Спасибо.
Начал с itools…

Это однозначно “bsddb”. Родной питоновский сишный модуль. Изначально создавался для разработки файловых систем. Могуч и оч-быстр. исходник примерно 80 файлов на плайн С. Нормальный питоновский интерфейс предоставляется модулем “shelve”. Примерно в 800 раз быстрее чем хранить в файловой системе. Но есть ограничения - мультизадачное использование несколько затруднено - нужно быть экспертом. Резервное копирование - не лишняя предосторожность. На поразительное быстродействие этого решения мы обратили внимание почти случайно - нужно было поднимать множество маленьких файликов с участками 3D ландшафта для рендерения в реальном времени для MMO игрушки и хранить на стороне клиента уже посещенные участки на пару десятков километров в каждую сторону от его активных камер. Ну и стирать давно не посещаемые участки на клиенте.

ЗЫ: Но все равно посоветовал бы хранить только индексы, и мелкие файлы, а большие файлы разместить на другом (FTP) серваке, и хранить в базе только инфу о них. Так весь сервис скорость явить сможет не детскую. :)

ZZZ
Я только за! :-)
Но как?

andreytata
Но все равно посоветовал бы хранить только индексы, и мелкие файлы, а большие файлы разместить на другом (FTP) серваке, и хранить в базе только инфу о них.

Отредактировано (Март 4, 2009 01:15:51)

1. Это естественно не сложно совсем. Только вынужден предупредить, что ЭТО уже очень многораз написано - и Вы начинаете заново писать файловую систему. Во времена моей юности каждый писал собственный файловый система - но в современных условиях это уже перебор. Ещё один мега-NTFS конечно не повредит, но “bsddb” содержит быструю и качественную основу “fs”. Сперва Реализуйте функциональность Вашего сервиса, используя “bsddb” через “shelve” потом в процессе эксплуатации сервиса сформулируйте десять отличий “ТОГО ЧТО ВАМ НАДА” от “bsddb” и напрягите ГУГЛ - сабж 100% имеется в наличии, как одина из монтируемых файловых систем в многочисленных UNIX-ах. Тогда останется только АДАПТИРОВАТЬ найденый “fs” к интерфейсу “shelve” т.е. “anydbm” по имеющимся в поставке Питона образцам, в коде сервиса после этого менять ничего не прийдется. Если всё работает и так, то у Вас останется время на дополнительный перфекционизм уже после начала эксплуатации ВАШЕГО продукта.

2. Обдумайте вопрос гранулярности сервиса. Когда 10000 клиентов обслуживаентся одновременно через сокеты, а один из них зажал весь сервис ибо вливает немерянного размера файл ( в реале он ВСЁЕДИНО вливает немерянное количество маленьких буфферков, и закончит слив всего сабжа за пол-часа - или за 10 лет - зависит только от того, насколько древняя модема на его на чукотская телефонная линия.). Может тогда и самодельный FS станет не нужен.

:)