Image

Imagedrykov wrote in Imageru_java

Category:

Терабайты данных

Вопрос не совсем про java, но в контексте java приложения. Грубо говоря хранится лог, постоянно добавляются
новые записи, удаляются старые, редко делаются запросы найти небольшую группу данных по дате и 1-2 признакам.
Сейчас все лежит в MySql.

Неожиданно стало известно что объем данных станет 10 терабайт. 100 миллионов записей каждый день.
В чем такое сейчас принято хранить? У кого есть практический опыт?

upd:
Требуется максимально легкое (и дешевое) опенсорс решение. Есть уже несколько предложений in-memory баз.
Столько памяти конечно не будет и не надо. Данные не меняются. Только удаляются старые и добавляются новые.
И агрегация к сожалению невозможна. Время запроса выборки нужно до 5 минут,
но это не должно быть проблемой, так как в запросе всегда есть дата.