MongoDB - тормоз вставки после 5000000 записей

#java #база_данных #mongodb #nosql #mongodb_query

Всем привет. В общем проблема такая: Проект на JAVA и есть NoSQL DB - MongoDB, необходимо
работать примерно с 1000000000 записей. Вставка, в пустую таблицу, 5000000 записей,
происходит за 13-15 мин, но после вставки 5000000 дальнейший процесс вставки начинает
тормозить и чуть ли не в геометрической прогрессии и ОЗУ начинает пожирать немерено.
Приоритетной задачей этой БД является поиск (скорость поиска на 10000000 - удовлетворяющая)  

Вопрос: 


Почему так происходит?  
Как это исправить?


Возможные варианты решения:


Каждые 5000000 записей - создавать новую таблицу?
Оптимизация индексов? (у меня поиск по id)
Оптимизация конфига MongoDB?
Оптимизация системы?
Замена БД?


Заранее благодарен за ответ!
    

Ответы

Ответ 1

У меня был похожий случай когда я работал с SQLite. Приходилось перейти на MySQL. 

Но для миллиарда записей по моему вам надо будет перейти уже на BigTable. Например,
на Hadoop, HBase или Cassandra.

Насчет Cassandra если честно не уверен, потому что Facebook сам перешел от Cassandra
на HBase хотя сами разработали ее.

bigtableбаза-данных