„Cred că ne permite să fim mai atenți și mai reflexivi la problemele de siguranță”, spune Altman. „O parte a strategiei noastre este: schimbarea progresivă în lume este mai bună decât schimbarea bruscă”. Sau, după cum a spus VP OpenAI Mira Moratti, când am întrebat-o despre munca echipei de securitate care restricționează accesul deschis la software, „Dacă vom învăța cum să implementăm aceste tehnologii puternice, să începem când miza este foarte mică. .”
În timp ce GPT-3 în sine Funcționând pe 285.000 de nuclee CPU într-un cluster de supercomputere din Iowa, OpenAI operează în zona Misiunii din San Francisco, într-o fabrică de bagaje renovată. În noiembrie anul trecut, l-am întâlnit pe Ilya Sotskefer acolo, încercând să obțin explicația unui profan despre cum funcționează cu adevărat GPT-3.
„Aceasta este ideea de bază a GPT-3”, a spus Sotskever cu atenție, aplecându-se în față pe scaun. Are un mod interesant de a răspunde la întrebări: niște începuturi false – „Pot să-ți dau o descriere care se potrivește aproximativ cu descrierea pe care ai cerut-o” – întrerupte de lungi pauze meditative, de parcă ar fi întocmit întregul răspuns în curs.
El a spus în cele din urmă: „Ideea de bază a GPT-3 este o modalitate de a raporta o noțiune intuitivă de înțelegere cu ceva care poate fi măsurat și înțeles mecanic și aceasta este sarcina de a prezice următorul cuvânt din text. Alte forme de inteligență artificială încearcă să codifice informații despre lume: strategiile de șah ale marilor maeștri, principiile climatologiei. Dar inteligența GPT-3, dacă inteligența este cuvântul pentru ea, vine de jos în sus: prin verbul elementar a prezice cuvântul următor. Pentru antrenamentul GPT-3, modelului i se dă un „prompt” – câteva propoziții sau paragrafe de text dintr-un articol de ziar, de exemplu, sau un roman sau o lucrare științifică – și apoi i se cere să sugereze o listă de cuvinte posibile ar putea completa secvența, ordonată după probabilitate. În primele etape ale antrenamentului, cuvintele propuse sunt o prostie. Întrebați algoritmul cu o propoziție de genul „Scriitorul a șters ultimul cuvânt din primul cuvânt…”” și presupunerile ar fi un fel de prostii: listă – apare cuvântul corect lipsă: „paragraf.” Apoi programul întărește și slăbește orice conexiuni neuronale aleatorii care generează acea sugestie specială Toate conexiunile care au generat presupuneri incorecte. Apoi trece la următorul router. În timp, cu suficiente iterații, programul învață.
În ianuarie, OpenAI a adăugat o caracteristică care permite utilizatorilor să ofere instrucțiuni directe GPT-3 ca prompt, în loc să le solicite doar să extindă un fragment de text. De exemplu, folosind modul Ajutor, GPT-3 a primit odată solicitarea: „Scrieți un eseu care discută rolul metaficțiunii în opera lui Italo Calvino”. Un scurt paragraf care începea după cum urmează:
Autorul italian Italo Calvino este considerat un expert în metaficțiune, un tip de scriere în care autorul sparge al patrulea perete pentru a discuta despre actul scrisului în sine. Pentru Calvino, metaficțiunea este o modalitate de a explora natura realității și modurile în care poveștile ne pot modela percepțiile despre lume. Romanele sale includ adesea structuri jucăușe și labirinturi care manipulează granițele dintre realitate și fantezie. În cazul în care călătorul se află într-o noapte de iarnă, de exemplu, cititorul este întrerupt constant de discuții la nivelul meta al actului lecturii și al naturii povestirii. . . .
Puteți oferi GPT-3 exact același prompt, iar și iar și de fiecare dată va genera un răspuns unic, unele mai convingătoare decât altele, dar aproape toate remarcabil de simplu. Indemnizațiile indicative pot lua tot felul de forme: „Dă-mi o listă cu toate ingredientele din sosul bolognez”, „Scrie o poezie despre un sat francez de pe litoral în stilul John Ashbery”, „Explică Big Bang-ul într-un limbaj care pe o perioadă de 8 ani. -vechiul înțelege.” Uneori, primii câțiva cu stimuli GPT-3 de acest fel, am simțit o adevărată piele de găină curgându-mi pe coloana vertebrală. Părea aproape imposibil ca o mașină să genereze un text atât de clar și de receptiv, bazat în întregime pe antrenamentul inițial pentru a prezice următorul cuvânt.
Dar AI are o istorie lungă de a crea iluzia inteligenței sau a înțelegerii fără a livra efectiv bunurile. la hârtie mult discutată Publicat anul trecut, profesorul de lingvistică de la Universitatea din Washington, Emily Bender, fostul cercetător Google Timnit Gebru și un grup de coautori au declarat că modelele mari de limbaj erau doar „papagali aleatorii”: adică, programul folosea randomizarea doar pentru a remixa propoziții scrise de oameni.. Bender mi-a spus recent prin e-mail: „Ceea ce s-a schimbat nu este cu un pas peste un anumit prag către „inteligență artificială”. În schimb, a spus ea, ceea ce s-a schimbat sunt „inovații hardware, software și economice care permit acumularea și procesarea de uriașe seturi de date’ — precum și cultura Tehnologia pe care o pot avea „oamenii care construiesc și vând astfel de lucruri” este departe de a o construi pe baze de date inexacte.”
„Iubitor tipic de twitter. Muzicholic pe tot parcursul vieții. Fanatic al culturii pop. Prieten al animalelor de pretutindeni. Evanghelist avid de bere. Jucător certificat.”