GPT-3 schrijft teksten in alle soorten en maten
‘GPT-3 van OpenAI is de grootste digitale revolutie na de bitcoin. Bewonderenswaardig, ongekend, het krachtigste taalmodel ooit, zowel in multifunctionaliteit, rekenkracht als in hoeveelheid trainingsdata’. Deze en andere misschien nog wel grotere complimenten kreeg het door OpenAI ontwikkelde taalmodel dat in mei van dit jaar openbaar werd gemaakt. Critici daarentegen noemen het een klungelige bullshitkunstenaar, saai, ja zelfs lachwekkend.
GPT-3 (Generative Pre-trained Transformer 3) schrijft teksten in alle soorten en maten. Persberichten, romans, essays, liedteksten, zelfs poëzie. Het enige dat het taalmodel nodig heeft zijn enkele beginzinnen en daarna zal de computer de tekst afmaken. In de stijl die je wenst en de lengte die je voorschrijft. Over de kwaliteit van de inhoud kun je twisten en dat gebeurt dan ook volop. Maar het in zeker de krachtigste tekstgenerator die ooit is gebouwd, want het taalmodel baseert zijn teksten op een bibliotheek vol boeken, alle teksten die op het internet zijn verschenen tussen 2016 en 2019 en het hele Engelse Wikipedia. In totaal gaat het om zo’n 45 terabyte aan data. GPT-3 is technisch gezien een diep neuraal netwerk, opgebouwd uit 96 lagen en 175 miljard verbindingen. Daarmee is dit het grootste kunstmatige neurale netwerk dat ooit is gebouwd.
De neurale netwerktechniek is gebaseerd op de werking van het neurale netwerk van het menselijke brein. Biologische neurale netwerken zijn opgebouwd uit werkelijk bestaande zenuwcellen die in het zenuwstelsel en hersenen met elkaar zijn verbonden door middel van synapsen. In de neurowetenschap kunnen deze netwerken corresponderen met kleine groepjes neuronen met een specifieke functie, of grotere gebieden in de hersenen met een meer algemene functie. Kunstmatige neurale netwerken zijn opgebouwd uit kunstmatige eenheden of ‘neuronen’ die door middel van een programma van echte biologische neuronen nabootsen. En dat is dus precies was GPT-3 doet. Het programma berekent de kans dat bepaalde woorden in een bepaalde volgorde na elkaar voorkomen en daar komt een tekst uit voort. Uiteraard weet het programma niet welke tekst het daadwerkelijk genereert, net zoals een vertaalmachine niet weet wat het vertaalt. GPT-3 is beter dan welke voorganger dan ook, maar toch is de kritiek niet mals. Het programma presteert best aardig in een aantal taken, maar het blinkt nergens in uit. GPT-3 kan soms verbazingwekkend interessante korte stukken tekst afleveren, maar er zit geen lange verhaallijn in. Dus nog geen echt nieuw literair talent, gewoon taalkundig correct geneuzel. Je kunt het nog niet zelf uitproberen, GPT-3 is niet op de markt verkrijgbaar. De licentie is verkocht aan Microsoft en dat betekent dat het op termijn als een aanvulling op Word of Excell langs zal komen. Tot dan nog even geduld graag.
Hans Eberson
