OrientDB, indexare texte

Categorii: Programare, Stiinta si Tehnologie

21-Feb-2015 16:36 - 389 vizionari

Continuare la OrientDB si OrientDB, mai rapid cu indexuri:

Nu am mai putut reface indexul text din motive de resurse (eroare de memorie) sau de erori in codul sursa OrientDB.

De aceea, am sters baza de date si am reconstruit-o cu 110 milioane de inregistrari.

Initial am folosit memorie 256M pentru Java (-Xmx256m) si spatiu pentru tamponul de memorie cu discul la 6 giga (-Dstorage.diskCache.bufferSize=6600), pentru ca m-am luat dupa sfatul programului de monitorizare server (Abstract Profiler Memory Checker).

Cand am sters baza de date si am recalculat parametrii: in 8 giga de RAM, Java sa aiba 4 giga si memoria cu discul de maxim 1 giga (-Xmx4096m -Xss8m –d64 -Dstorage.diskCache.bufferSize=1024) am reusit intr-o singura zi sa adaug 110 milioane de valori.

Pastrand memoria de lucru cu harddiscul mai mica, am reusit sa mentin constanta rata de introducere a datelor la 600-800 valori pe secunda de fiecare client conectat (maxim 3 clienti pe calculator cu 4 procesoare).

In imaginea urmatoare indexul rnds este construit cu sistemul LUCENE:

Apasa pentru o imagine mai mare

Cautarea textelor a durat 0.1 – 5.7 secunde pe o tabela de 110 milioane de inregistrari:

Apasa pentru o imagine mai mare

Cautarea numerelor a fost mult mai rapida, 0.2 secunde:

Apasa pentru o imagine mai mare

Alegand valorile potrivite pentru pornirea serverului OrientDB, se pot obtine performante ridicate si constante, chiar daca serverul este solicitat 90-95% din timp.

Am instalat versiunea 2.0.3 cu noua baza de date, probabil noua versiune aduce ceva sporuri de viteza si de stabilitate.

Se pare ca echipa OrientDB se tine de cuvant, iar eu mi-am dovedit ca serverul poate manevra cantitati uriase de date (cu indexarea potrivita) in interval rezonabil de timp (cateva secunde).



Ultimele pagini: RSS

Alte adrese de Internet

Categorii

Istoric



Contorizari incepand cu 9 iunie 2014:
Flag Counter

Atentie: Continutul acestui server reprezinta ideile mele si acestea pot fi gresite.