Rainbowheart - ultimele 7 pagini

  • Evaluare GPT-3

    15-Jan-2021 18:42 - 22 vizionari

    Categorie: AI.

    GPT-3 este mare si puternic si promite multe. Am vazut mai multe filme despre GPT-3 pe Youtube si un film de patru ore mi-a atras atentia.

    Anul trecut am primit acces la interfata de evaluare GPT-3, am inceput sa fac cateva teste si deja am consumat 1,355 unitati din 300,000 alocate gratuit.

    Status free trial usage

    In evaluarea inteligentei artificiale este un test care demonstreaza clar ca NLP (Natural language processing) nu este NLU (Natural language understanding): plecand de la ideea “A house is bigger than a chair.” se cere sa se evalueze ca adevarat sau fals propozitia “Chair fit inside a house.” si inteligenta artificiala RoBERTa estimeaza ca un scaun incape intr-o casa in 25% din situatii, dar modelul Decomposable Attention + ELMo estimeaza aproape corect: 76%.

    RoBERTa estimeaza gresit  Decomposable Attention + ELMo estimeaza corect 

    Se pot face multe alte teste la Allen NLP, dar, ca sa inteleg rezultatul testului cu scaunul si casa, am ales ceva evident si AI e sigur ca A = B 99.3%, dar ca A = C 5.3%:

    RoBERTa estimeaza corect  RoBERTa estimeaza gresit

    Nici GPT-3 nu straluceste, marele davinci (cel mai performant model din grupul GPT-3) greseste la adunare pentru ca nu aduna (nu executa NLU, nu intelege ce face) ci doar recunoaste tipare, dar dupa cateva ajustari de parametri, se intampla minunea:

    davinci greseste la adunare  davinci ghiceste recunoscand sabloane

    Cand am schimbat modelul davinci cu modelul ada (cel mai mic sau slab model de test din grupul GPT-3) folosind aceeasi parametri, performantele au fost iar dezamagitoare (5-3 e de la davinci, dar incepand cu 5+4 sunt testele ada):

    ada greseste la adunare  davinci este cel mai bun model GPT-3

    Continuand testul cu casa si scaunul, davinci nu o nimereste, dar ada raspunde corect:

    davinci greseste   ada raspunde corect

    Concluzia: GPT-3 promite, dar sunt dezamagit. Pot obtine rezultate mult mai bune cu modele mai simple. Ca sa invat mai multe si mai repede in domeniul AI cred ca e mai bine daca testez cateva modele locale (existente in calculator) de cel mult 400 milioane de unitati neurale (GPT3 are 175 miliarde) ca am observat ca atat poate duce un calculator cu 8 giga de RAM.


  • Patru ore de comentarii evaluare AI GPT-3

    14-Jan-2021 17:56 - 28 vizionari

    Categorie: AI.

    Cand am auzit prima data de GPT-3, m-am grabit sa scriu pe blog, apoi am realizat ca perioada de proba s-a incheiat si ca am ratat ocazia sa testez GPT-3.

    Dar anul trecut, la finalul lui decembrie (cadou in ajun de Craciun), am primit confirmarea ca sunt acceptat in programul de evaluare gratuita a sistemului de inteligenta artificiala GTP-3 (GPT = generative pre-training) si acum trebuie sa profit si sa studiez sistemul pana imi expira perioada de evaluare (20 martie 2021).

    Am gasit un film de aproape patru ore in care sunt multe pareri pro si contra:

    Ce mi-am notat din vizionarea filmului:

    1:50 – Se sugereaza ideea ca GPT3 merge in directia in care nu trebuie sa mearga AI, ca nu asa trebuie sa antrenezi un AI, ca setul de antrenament e bazat pe date generate de oameni intr-un context anume si ca gpt3 face doar o corelatie intre date, dar eu consider ca e perfect asa cum e acum pentru teste si, cand tehnologia va fi suficient de matura, AI sa invete de la zero ca un copil educat in cativa ani de dialoguri relevante, nu cu texte din Internet.

    4:10 – Recunoasterea sabloanelor nu este suficient (algoritmi de retele neuronale de OCR), ca memorarea corelatiilor (algoritm transformers) nu e suficient si ca nu ajuta cand intalnesti ceva necunoscut, ceva ce nu ai memorat, dar eu consider ca exact asa trebuie sa functioneze AI: sa retina asocierea imagine-eticheta sau intrebare-raspuns (in parametri din reteaua neuronala), pentru ca asa invata si omul, din experienta, si mai tarziu cand omul vede o imagine necunoscuta, creierul o aproximeaza cu ceva ce stie din experienta.

    4:50 – In limbajul natural nu spui tot ce ai de spus si AI nu invata bine din analiza textelor din Internet, dar eu consider ca nu e asa, in Internet cand spui ceva (in scris) o spui clar sa nu fie confuzie (daca e articol stiintific sau wikipedia) si poate nu prea clar (daca e postare pe twiter, facebook sau blog sau altceva), dar chiar si asa, e mare lucru daca AI invata si se maturizeaza tehnologia AI si, mai tarziu, revizuim si adaptam algoritmul de invatare si antrenam AI cu un set nou de date.

    5:21 – Nu am multa experienta in AI, dar am inteles in timp ca AI invata din statistici, din exemplele filtrate si simplificate de diversi algoritmi si rezultatul este stocat intr-o structura de date si m-am gandit ca tot asa stocheaza si oamenii informatia in reteaua de neuroni. GPT3 foloseste transformers si este o retea neuronala in care se memoreaza secvente de cuvinte (reprezentate ca un vector de numere) si pentru asta are nevoie de memorie, intelegere context si ajustare atentie (pondere cuvinte).

    5:51 – Daca GPT3 nu are rezultate bune, oricand se poate imbunatati algoritmul de transformare si totul trebuie reluat de la zero, dar exact acesta e motivul pentru care datele de intrare sunt aduse din Internet, ca sa se accelereze procesul de invatare si evaluare AI. Dar daca sunt doar informatii noi sau o actualizare a informatiilor deja cunoscute, cred ca e suficient ca noile date sa fie introduse in GPT3 si modelul AI sa fie salvat sub alt nume.

    6:10 – Sunt comentarii negative privind stilul intrebare-raspuns pentru ca inca nu s-a vazut adevaratul potential al lui GPT3.

    14:10 – In intelegerea limbajului nu trebuie sa fie parametri statistici, in recunosterea sabloanelor e ok sa folosesti statistica, dar la semantica frazei nu.

    24:46 – Opinia prezentatorului: GPT3 nu este gata pentru afaceri, GPT3 nu intelege limbajul, GPT3 nu creaza ghidat de context, GPT3 este bun sa genereze articole de fictiune. Sunt de acord cu prezentatorul, am testat GPT3 si am gasit cateva puncte slabe in care demonstreaza clar ca poate NLP (natural language processing) dar nu stie NLU (natural language understanding).

    52:04 – GPT3 nu intelege limbajul, doar face o potrivire de sabloane

    1:54:41 – Observ niste idei interesante despre creierul uman si AI si cum sa fie imbunatatit algoritmul AI. Cred ca ar fi interesant sa combini cateva instante AI antrenate in diferite stiluri (cerebral, vulcanian, emotional, economist, tolerant, perfectionist, ...) si sa le pui in situatia sa voteze alegerea raspunsului.

    1:59:13 – Observatie importanta: modelele transformers (BERT, BART, ROBERTA, GPT3) sunt mai bune (sau mai populare acum) decat LSTM sau RNN pentru ca merg mai bine pe placile grafice (GPU).

    2:02:07 – Retelele neuronale ar trebui sa fie redenumite in "programe de cautare matriceala".

    2:32:16 – Recunoasterea de sabloane nu inseamna ca intelegi ce recunosti, doar ca poti clasifica informatia intr-o categorie anume, iar GPT3 nu intelege ce recunoaste.

    2:34:43 – Eu: Recunoasterea de sabloane provine 100% din setul de date de antrenament, dar rationamentul e mult mai mult de atat (informatie obtinuta deductiv si inductiv care modifica fiziologia creierului (neuroplasticitate) si actualizeaza informatia ca experienta personala).

    2:37:14 – Oricat de puternic ar fi modelul AI, daca proceseaza numai informatii ca recunoastere de sabloane, nu va intrece un copil de 4 ani care are rationament. Eu adaug: daca implementezi un mecanism de feedback cu rol punitiv pentru AI se pot intampla doua minuni: AI capata compasiune (intelege durearea pentru ca o experimenteaza pe propria piele si nu va face rau omenirii) si capata constiinta (pentru ca ii este rusine de predictiile false si se straduieste sa se perfectioneze).

    2:52:32 – Eu: E normal ca textul generat de GPT3 sa fie unic (sa nu fie gasit pe Internet la o cautare exacta si luat cu copy/paste) pentru ca GPT3 intelege contextul (limitat la recunoasterea de sabloane) si completeaza (cuvantul cu probabilitatea cea mai mare) cu informatii relevante gasite (invatate) din Internet.

    3:08:42 – FSM (finite state machine) sunt recunoasterea de sabloane si Turing Machines sunt capabile de rationament.
    Pentru fiecare set finit de date se pot rezolva toate problemele cu o FSM, dar o masina Turing poate face infinit mai multe.

    3:12:31 – Esenta rationamentului este calcul fara limite, iar recunoasterea de sabloane este un calcul restrictionat.

    In final prezentatorii alternau intre laude si dezamagiri, dar nu tratau testele cu consecventa si sunt sigur de asta ca am testat si eu alte sisteme AI.

    Concluzie: GPT-3 este puternic si surprinzator, deja am cateva teste salvate in care am consumat 1,192 unitati din 300,000 alocate gratuit.


  • Misterul originii vietii

    05-Jan-2021 17:02 - 61 vizionari

    Un film care ma pune pe ganduri si imi da motive de meditatie.

    Pamantul s-a format acum 4.5 miliarde de ani, 500 de milioane de ani mai tarziu apar primele forme de viata, 800 de milioane mai tarziu apar bacteriile capabile de fotosinteza, 700 milioane de ani mai tarziu apare catastrofa oxigenului urmata de inghetarea pamantului aproximativ cu 2.3 miliarde de ani in urma.

    Din film:

    Viata a aparut brusc (explozia din Cambrian) si complexa (toate moleculele au chiralitate, exceptie cateva ca apa si acidul acetic) si nu s-au mai gasit in natura forme intermediare sau de chiralitate opusa vietii din prezent, adica este prezent fenomenul de homochiralitate: zaharul natural (produs de plante) are chiralitate de dreapta (dextrogir), toti aminoacizii sunt levogiri, ADN e dextrogir, …

    Timpul nu este un aliat pentru chimie, compusii nu stau stabili multa vreme, ori se descompun ori reactioneaza cu altii: se degradeaza sau se obtin alte produse nedorite. Timpul sustine evolutia, dar nu este un aliat pentru reactiile chimice.

    Sunt necesare multe operatii chimico-fizice (incalzire, racire, purificare, izolare) temporizate cu precizie si pe care natura nu prea avea cum sa le faca.

    Primul nanomotor sintetizat in laborator se invartea cu 1.8 rotatii pe ora, dar dupa ce cercetatorii au scos un atom de sulf, motorul a mers cu 3 milioane de rotatii pe secunda. Pentru asta, cercetatorii au trebuit sa refaca procedura de sinteza. Oare asa a facut si natura? Inclin sa spun ca probabil ca da, pentru ca natura a experimentat in paralel sinteza (miliarde de reactii chimice efectuate simultan pe tot globul dupa racirea planetei si intrunirea conditiilor vietii: nici prea frig, nici prea cald, suficient lichid si suficiente minerale generate de vulcani pe fundul oceanului) si moleculele potrivite sa supravietuiasca s-au format si au ramas stabile, iar restul s-au descompus si reciclat. Dar probabilitatea este foarte mica.

    Pe la minutul 28 am inteles cat de mica este probabilitatea ca viata sa fi aparut fara interventia unui creator: probabilitatea ca moleculele necesare (carbohidrati, proteine, aminoacizi, lipide, acizi nucleici) sa se formeze X probabilitatea sa se cupleze in ordinea dorita X … probabilitatile ca moleculele mai mari sa se cupleze intre ele … pana la cea mai simpla celula (arheea).

    Sunt peste 40,000 de lipide diferite in componenta membranei celulare.

    La minutul 31: In membrana celulara sunt diferite proteine (ionofori) care lasa ionii sa intre si sa iasa din celula. Daca in celula nu se pastreaza concentratia potrivita de ioni, celula se destabilizeaza si se sparge.

    6 carbohidrati se pot asambla intr-un triliard de combinatii si daca secventa nu e corecta, celula moare.

    Minutul 34: probabilitatea aparitiei vietii din combinatii intamplatoare este atat de mica (una din 10 la puterea 79 miliarde = 1079,000,000,000) comparativ cu numarul total de particule elementare din univers (10 la puterea 90 = 1090).

    Minutul 37: analogie cum a aparut viata intamplator: dintr-o cantitate de carne de curcan fiarta cu cateva pene, daca ai destula rabdare (cateva miliarde de ani) este o sansa ca pasarea sa revina la viata.

    Primele forme de viata apar la 500 de milioane de ani dupa formarea planetei Pamant.

    Explozia de viata din Cambrian a inceput acum 540 milioane de ani si vreau sa subliniez: diversificarea vietii la inceputul Cambrianului a inceput la 3.46 miliarde de la primele forme de viata.

    Meduzele au aparut cu 500 de milioane de ani in urma si au ramas nemodificate pana in prezent.

    Viata a avut nevoie de 3 miliarde de ani si ceva ca sa produca fiinte complexe (pluricelulare), dar meduzele au ramas nemodificate pana in prezent.

    Trebuie sa recunosc, si filmul o recunoaste in final, ca absolut tot ce e legat de viata (aparitie, dezvoltare, diversitate, simbioza, ADN) implica existenta unui Creator.

    Imi mentin parerea ca ne aflam intr-un sistem de dezvoltare personala (univers simulat) in care avem posibilitatea (prin reincarnari multiple) sa experimentam si sa evoluam.


  • Marea extinctie provocata de oxigen

    04-Jan-2021 16:22 - 59 vizionari

    Un documentar care aminteste de cele mai importante evenimente din istoria planetei noastre si prezinta cateva intorsaturi curioase in evolutia vietii.

    Interesant filmul:

    Cu 66 milioane de ani in urma un asteroid din Iridiu a lovit pamantul in Yucatan si 75% din vietati au disparut; nu a supravietuit nicio fiinta mai mare de 25kg.

    Cu 200 milioane de ani in urma vulcanii au transformat planeta, 96% din viata marina si 70% din viata terestra, a disparut.

    Cu 2.5 miliarde de ani in urma oxigenul, ca produs secundar din metabolismul unor bacterii, s-a acumulat in atmosfera si dus la disparitia a 99% din viata terestra si marina. Prima fotosinteza producea Sulf si Hidrogen sulfurat (H2S) si nu era otravitoare pentru mediul din vremea aceea, dar anumite bacterii au suferit o mutatie si au inceput sa produca Oxigen (in loc de Sulf) si Apa (H2O in loc de H2S).

    Batalia dintre bacteriile producatoare de Sulf si bacteriile producatoare de Oxigen a durat 200 milioane de ani si a constat din cicluri in care oxigenul omora aproape toate bacteriile si oxida Fierul si oxizii de fier se depuneau pe fundul oceanului, apoi bacteriile isi revenau cand scadea nivelul Oxigenului si pe fundul oceanului se depuneau compusi ai Siliciului si sedimentele negre de bazalt (roca vulcanica), apoi ciclul se relua si tot asa … timp de 200 de milioane de ani, se vede din alternanta depozitelor de pe fundul oceanelor.

    Dar dupa 200 milioane de ani s-a intamplat ceva incredibil: bacteriile s-au adaptat sa tolereze Oxigenul si au produs si mai mult Oxigen, apele s-au saturat de Oxigen si s-au curatat, Oxigenul a reactionat cu tot ce se putea si a creat depozite si a lasat apa limpede, tot Fierul s-a oxidat si Pamantul s-a acoperit cu un strat uniform de oxid de Fier, adica Pamantul a ruginit.

    Apoi Oxigenul a inceput sa se acumuleze in atmosfera si sa reactioneze cu metanul (CH4) transformandu-l in dioxid de carbon (CO2). CH4 creaza un efect de sera (incalzire globala) mai bun decat CO2 si Pamantul a inceput sa se raceasca. Apoi bacteriile, care deja consumau CO2 si lumina de la soare, s-au inmultit si mai mult si Pamantul s-a racit si mai mult (pierzand CO2) pana a inghetat si a ramas asa timp de 300 de milioane de ani.

    Undeva pe Glob, pe langa vulcani subacvatici sau gheizere, numai un procent din vietuitoarele planetei au supravietuit.

    Aproximativ 2 miliarde de ani in urma Pamantul se reincalzeste, apar eucariotele, 500 de milioane de ani mai tarziu apar ciupercile care faramiteaza si descompun piatra si produc humus (sol fertil) apoi, un miliard de ani mai tarziu, apare explozia de viata din Cambrian, 70 de milioane de ani mai tarziu apar plantele, …


  • The Movie Great Pyramid K 2019 - Director Fehmi Krasniqi

    13-Dec-2020 11:28 - 116 vizionari

    Un documentar incredibil oferit gratuit pe Youtube de autori, Fehmi Krasniqi si colegii lui.

    Executia filmului a durat 6 ani si la inceput nu s-a pus problema de finantare, dar vremurile s-au schimbat si e nevoie:  https://www.paypal.me/gpk2019

    Filmul prezinta pas cu pas cum s-a construit Marea Piramida a lui Khufu (Khnum Khufu) sau Cheops.

    Nu stiam ca sistemul metric (adoptat de francezi in 1790) a fost bazat pe masuratorile Marei Piramide, putini stiau pana acum, dar filmul o demonstreaza cat se poate de clar.

    Filmul mai prezinta o metoda incredibil de credibila si de practica si de simpla de constructie, o revelatie socanta urmata de o reordonare a cunostintele mele de chimie si de fizica, Olmecii sunt Egipteni, Rapa Nuii sunt Egipteni, majoritatea statuilor egiptene au nasul spart ca sa se ascunda un mare secret, hieroglifele Egiptene din America si din Australia (500 hieroglife descoperite in Gosford), …

    Sunt un pic dezamagit ca piramidele din Egipt (118-138 piramide), din Africa (350 piramide) si din America (peste 1000 in America de N si peste 1000 numai in Brazilia), statuile din Insula Pastelui (Insula Rapa Nui si are 887 statui numite Moai), monumentele de la Puma Punku, statuia Gommateshwara (1000 tone de granit si simbolizeaza pace si non violenta), Pesterile de pe dealul Barabar din India, Templul Angkor Wat, piramida Sukuh din Indonezia nu au fost construite de Extraterestri Antici. Templele Grecesti si Romane au fost construite cu tehnologie Egipteana, cimentul Roman este ciment Egiptean, Coloseumul s-a contruit in 10 ani si Forumul Roman in 8 ani, dar fara tehnologie Egipteana s-ar fi construit in 200 ani.


  • Secretul consta in toleranta

    23-Nov-2020 22:03 - 139 vizionari

    Nu stiam ca Hinduismul contine atat de multa intelepciune, pacat ca nu am rabdare sa aprofundez.

    Dar observ ca secretul desavarsirii spirituale este dat de principiile Falun Dafa: Adevar, Compasiune si Toleranta.

    Adevarul este pretuit de Taoism, Compasiunea este promovata de Budism si Falun Dafa adauga Toleranta.

    Conform invataturilor Falun Dafa (Maestrul Li Hongzhi), universul in care traim acum se bazeaza pe Adevar, Compasiune si Toleranta ca reguli de conduita.

    Prin Toleranta accepti ca variatiile sunt permise de Creator (se regasesc peste tot in natura) si ca nu trebuie sa judeci comportamenul altora.

    Renuntand la judecarea altora, privesti realitatea obiectiv si progresezi spiritual.


  • Iluzia Egoului

    23-Nov-2020 18:40 - 138 vizionari

    Este incredibil cata dreptate are Alan Watts in acest film si pot spune ca mi-a rezolvat cateva dileme.

    Refuz sa cred intr-un Creator care ofera omului o singura viata si care favorizeaza pe unii (cu sanatate sau bogatie sau ambele) si defavorizeaza pe altii (cu handicapuri si boli incurabile).

    Jucand multe jocuri video am intuit de ce reincarnarea pe aceasta planeta este o Mare Simulare si de ce jucatorul este Zeu amnezic.

    Fiecare joc video este o simulare si existenta pe aceasta planeta nu difera de un joc video.

    Scopul fiecarei fiinte reincarnate pe aceasta planeta este sa treaca la nivelul urmator al jocului, iar aceasta se intampla dupa ce invata regulile jocului, repetand (amnezic) nivelul curent prin mai multe reincarnari.


Ultimele pagini: RSS

Alte adrese de Internet

Categorii

Istoric


Atentie: Continutul acestui server reprezinta ideile mele si acestea pot fi gresite.