GPT-3 schrijft teksten in alle soorten en maten
‘GPT-3 van OpenAI is de grootste digitale revolutie na de bitcoin. Bewonderenswaardig, ongekend, het krachtigste taalmodel ooit, zowel in multifunctionaliteit, rekenkracht als in hoeveelheid trainingsdata’. Deze en andere misschien nog wel grotere complimenten kreeg het door OpenAI ontwikkelde taalmodel dat in mei van dit jaar openbaar werd gemaakt. Critici daarentegen noemen het een klungelige bullshitkunstenaar, saai, ja zelfs lachwekkend.
GPT-3 (Generative Pre-trained Transformer 3) schrijft teksten in alle soorten en maten. Persberichten, romans, essays, liedteksten, zelfs poëzie. Het enige dat het taalmodel nodig heeft zijn enkele beginzinnen en daarna zal de computer de tekst afmaken. In de stijl die je wenst en de lengte die je voorschrijft. Over de kwaliteit van de inhoud kun je twisten en dat gebeurt dan ook volop. Maar het in zeker de krachtigste tekstgenerator die ooit is gebouwd, want het taalmodel baseert zijn teksten op een bibliotheek vol boeken, alle teksten die op het internet zijn verschenen tussen 2016 en 2019 en het hele Engelse Wikipedia. In totaal gaat het om zo’n 45 terabyte aan data. GPT-3 is technisch gezien een diep neuraal netwerk, opgebouwd uit 96 lagen en 175 miljard verbindingen. Daarmee is dit het grootste kunstmatige neurale netwerk dat ooit is gebouwd.
Best aardig
De neurale netwerktechniek is gebaseerd op de werking van het neurale netwerk van het menselijke brein. Biologische neurale netwerken zijn opgebouwd uit werkelijk bestaande zenuwcellen die in het zenuwstelsel en hersenen met elkaar zijn verbonden door middel van synapsen. In de neurowetenschap kunnen deze netwerken corresponderen met kleine groepjes neuronen met een specifieke functie, of grotere gebieden in de hersenen met een meer algemene functie. Kunstmatige neurale netwerken zijn opgebouwd uit kunstmatige eenheden of ‘neuronen’ die door middel van een programma van echte biologische neuronen nabootsen. En dat is dus precies was GPT-3 doet. Uiteraard weet het programma niet welke tekst het daadwerkelijk genereert. Het berekent alleen de kans dat bepaalde woorden in een bepaalde volgorde na elkaar voorkomen. Dat hoeft geen belemmering te zijn schrijft Bennie Mols in zijn artikel ‘Onbetrouwbaar, gammel en bewonderenswaardig’ in het NRC van 24 oktober. Automatische vertaalprogramma’s weten ook niet wat ze vertalen en toch zijn hun prestaties indrukwekkend en praktisch zeer bruikbaar. Nadeel volgens Mols is dat het programma in een aantal taken best aardig presteert, maar nergens in uitblinkt. Hij trekt een vergelijking met een tienkamper, die alle elementen van zijn sport redelijk onder de knie heeft, maar nergens in excelleert. Inhoudelijk valt er vaak veel op de tekstproducties aan te merken. Dat heeft te maken met het feit dat de computer voortborduurt op bestaande kennis in zijn database. Vernieuwing hoef je dus niet te verwachting. Er zal geen nieuwe W.F. Hermans of Gerard Reve opstaan.
Niet goedkoop
De ontwikkeling van GPT-3 is echter wel een prestatie van formaat, alleen al door de gigantische hoeveelheid data die ten grondslag ligt aan zijn kunsten. Dit is de derde versie die door OpenAI is ontwikkeld en daarmee gegarandeerd maar een tussenproduct. De volgende versies zullen steeds beter en geavanceerder worden en er liggen natuurlijk nog grote onontgonnen gebieden op exploitatie te wachten. GPT-3 werkt met taal, maar wat als er bijvoorbeeld beeld of geluid aan kan worden toegevoegd? Critici zien dat nog niet zo snel gebeuren: “Eerst het tekstdeel maar eens op orde krijgen. GPT-3 kan soms verbazingwekkend interessante korte stukken tekst afleveren, maar ze missen de lange verhaallijn”, zegt wiskundige Marcus du Sautoy. GPT-3 is niet vrij op de markt te verkrijgen. De ontwikkelkosten waren gigantisch, net als de energiekosten. Bovendien zullen de data voortdurend moeten worden geüpdatet. Om de kans op commerciële toepassingen te vergroten heeft OpenAI een exclusieve licentie aan Microsoft verkocht. Dat betekent dat iedereen het op een gegeven moment in bijvoorbeeld Word of Excel zal zien langskomen. Tot dan toch nog even geduld graag.
