Categorie: AI.
GPT-3 este mare si puternic si promite multe. Am vazut mai multe filme despre GPT-3 pe Youtube si un film de patru ore mi-a atras atentia.
Anul trecut am primit acces la interfata de evaluare GPT-3, am inceput sa fac cateva teste si deja am consumat 1,355 unitati din 300,000 alocate gratuit.
In evaluarea inteligentei artificiale este un test care demonstreaza clar ca NLP (Natural language processing) nu este NLU (Natural language understanding): plecand de la ideea “A house is bigger than a chair.” se cere sa se evalueze ca adevarat sau fals propozitia “Chair fit inside a house.” si inteligenta artificiala RoBERTa estimeaza ca un scaun incape intr-o casa in 25% din situatii, dar modelul Decomposable Attention + ELMo estimeaza aproape corect: 76%.
Se pot face multe alte teste la Allen NLP, dar, ca sa inteleg rezultatul testului cu scaunul si casa, am ales ceva evident si AI e sigur ca A = B 99.3%, dar ca A = C 5.3%:
Nici GPT-3 nu straluceste, marele davinci (cel mai performant model din grupul GPT-3) greseste la adunare pentru ca nu aduna (nu executa NLU, nu intelege ce face) ci doar recunoaste tipare, dar dupa cateva ajustari de parametri, se intampla minunea:
Cand am schimbat modelul davinci cu modelul ada (cel mai mic sau slab model de test din grupul GPT-3) folosind aceeasi parametri, performantele au fost iar dezamagitoare (5-3 e de la davinci, dar incepand cu 5+4 sunt testele ada):
Continuand testul cu casa si scaunul, davinci nu o nimereste, dar ada raspunde corect:
Concluzia: GPT-3 promite, dar sunt dezamagit. Pot obtine rezultate mult mai bune cu modele mai simple. Ca sa invat mai multe si mai repede in domeniul AI cred ca e mai bine daca testez cateva modele locale (existente in calculator) de cel mult 400 milioane de unitati neurale (GPT3 are 175 miliarde) ca am observat ca atat poate duce un calculator cu 8 giga de RAM.