Evaluare GPT-3

Categorii: AI

15-Jan-2021 18:42 - 939 vizionari

Categorie: AI.

GPT-3 este mare si puternic si promite multe. Am vazut mai multe filme despre GPT-3 pe Youtube si un film de patru ore mi-a atras atentia.

Anul trecut am primit acces la interfata de evaluare GPT-3, am inceput sa fac cateva teste si deja am consumat 1,355 unitati din 300,000 alocate gratuit.

Status free trial usage

In evaluarea inteligentei artificiale este un test care demonstreaza clar ca NLP (Natural language processing) nu este NLU (Natural language understanding): plecand de la ideea “A house is bigger than a chair.” se cere sa se evalueze ca adevarat sau fals propozitia “Chair fit inside a house.” si inteligenta artificiala RoBERTa estimeaza ca un scaun incape intr-o casa in 25% din situatii, dar modelul Decomposable Attention + ELMo estimeaza aproape corect: 76%.

RoBERTa estimeaza gresit  Decomposable Attention + ELMo estimeaza corect 

Se pot face multe alte teste la Allen NLP, dar, ca sa inteleg rezultatul testului cu scaunul si casa, am ales ceva evident si AI e sigur ca A = B 99.3%, dar ca A = C 5.3%:

RoBERTa estimeaza corect  RoBERTa estimeaza gresit

Nici GPT-3 nu straluceste, marele davinci (cel mai performant model din grupul GPT-3) greseste la adunare pentru ca nu aduna (nu executa NLU, nu intelege ce face) ci doar recunoaste tipare, dar dupa cateva ajustari de parametri, se intampla minunea:

davinci greseste la adunare  davinci ghiceste recunoscand sabloane

Cand am schimbat modelul davinci cu modelul ada (cel mai mic sau slab model de test din grupul GPT-3) folosind aceeasi parametri, performantele au fost iar dezamagitoare (5-3 e de la davinci, dar incepand cu 5+4 sunt testele ada):

ada greseste la adunare  davinci este cel mai bun model GPT-3

Continuand testul cu casa si scaunul, davinci nu o nimereste, dar ada raspunde corect:

davinci greseste   ada raspunde corect

Concluzia: GPT-3 promite, dar sunt dezamagit. Pot obtine rezultate mult mai bune cu modele mai simple. Ca sa invat mai multe si mai repede in domeniul AI cred ca e mai bine daca testez cateva modele locale (existente in calculator) de cel mult 400 milioane de unitati neurale (GPT3 are 175 miliarde) ca am observat ca atat poate duce un calculator cu 8 giga de RAM.


Ultimele pagini: RSS

Alte adrese de Internet

Categorii

Istoric


Atentie: Continutul acestui server reprezinta ideile mele si acestea pot fi gresite.