CouchDB 1.6.1 indexat cu Elasticsearch

Categorii: Programare

19-Feb-2016 18:40 - 783 vizionari

Continuand evaluarea serverului CouchDB 1.6.1, dupa ce am realizat cateva aplicatii de test, am indexat o baza de date de 700 de milioane de inregistrari cu Elasticsearch.

CouchDB 1.6.1 700 milioane valori in benchmark

Indexarea am facut-o cu un program in Python, pe care am decis sa-l fac disponibil gratis pentru scopuri personale sau comerciale la github: ES-index-CouchDB1

Programul verifica periodic daca sunt modificari in baza de date, comparand secventa curenta cu ultima secventa a bazei de date si indexeaza daca exista diferente (adaugare/modificare/stergere documente CouchDB versiunea 1.x, nu merge cu CouchDB 2.x):

Indexare baza de date db1

Orice modificare in baza de date CouchDB adauga o secventa noua la starea bazei de date.

Astfel am indexat o baza de date de test (benchmark) de 700 de milioane de valori:

Indexare baza de date CouchDB de 700 milioane de valori

Afisare stare server ES cu programul head

In caz de eroare (de comunicatie cu serverul, de memorie, etc.) programul reporneste si continua indexarea:

restart_index_es



Ultimele pagini: RSS

Alte adrese de Internet

Categorii

Istoric



Contorizari incepand cu 9 iunie 2014:
Flag Counter

Atentie: Continutul acestui server reprezinta ideile mele si acestea pot fi gresite.