Zelfs als je het dagelijks gebruikt, heb je misschien vragen over hoe ChatGPT werkt.
Laten we een kijkje nemen achter de schermen van 's werelds populairste AI-chatbot.
Overzicht: Hoe werkt ChatGPT?
Heb je maar 20 seconden? Zo werkt ChatGPT:
- Je stuurt een verzoek. ‘Schrijf een e-mail, alsjeblieft.’
- ChatGPT splitst de invoer op in tokens om te verwerken.
- Het gebruikt NLP om de invoer te analyseren en de context te begrijpen.
- Het voorspelt het volgende woord op basis van patronen die het tijdens de training heeft geleerd.
- Het richt zich op de meest relevante delen van je invoer (met behulp van het attention-mechanisme).
- ChatGPT genereert het volledige antwoord, woord voor woord, en stuurt het naar je terug.
Dit zijn de basisstappen waarmee ChatGPT vragen ontvangt en beantwoordt.
Waar staat GPT voor?
De GPT in ChatGPT staat voor ‘generative pre-trained transformer’. Elk van deze drie onderdelen is belangrijk om te begrijpen hoe ChatGPT werkt.
1. Generatief
ChatGPT is een generatief AI-model – het kan tekst, code, afbeeldingen en geluid genereren. Andere voorbeelden van generatieve AI zijn beeldgeneratoren zoals DALL-E of audiogenerators.
2. Voorgetraind
Het ‘voorgetrainde’ aspect van ChatGPT zorgt ervoor dat het lijkt alsof het alles op internet weet. Het GPT-model is getraind op enorme hoeveelheden data via een proces dat ‘unsupervised learning’ heet.
Voor ChatGPT werden AI-modellen getraind met ‘supervised learning’ – ze kregen duidelijk gelabelde input en output en leerden deze aan elkaar te koppelen. Dit was vrij traag, omdat datasets door mensen samengesteld moesten worden.
Toen de eerste GPT-modellen werden blootgesteld aan de grote datasets waarop ze getraind zijn, namen ze taalpatronen en contextuele betekenis op uit allerlei bronnen.
Daarom is ChatGPT een chatbot met algemene kennis – het was al getraind op een enorme dataset voordat het publiekelijk werd uitgebracht.
Gebruikers die de GPT-engine verder willen trainen – bijvoorbeeld om gespecialiseerd te worden in bepaalde taken, zoals rapporten schrijven voor jouw organisatie – kunnen technieken gebruiken om LLMs aan te passen.
3. Transformer
Transformers zijn een type neurale netwerkarchitectuur die werd geïntroduceerd in een paper uit 2017 getiteld "Attention is All You Need" van Vaswani et al. Voor transformers werden modellen zoals recurrent neural networks (RNNs) en long short-term memory (LSTM) netwerken vaak gebruikt voor het verwerken van tekstreeksen.
RNNs en LSTM-netwerken lazen tekstinvoer achter elkaar, net als een mens. Maar transformer-architectuur kan alle woorden in een zin tegelijk verwerken en beoordelen, waardoor sommige woorden als belangrijker worden gezien, zelfs als ze midden in of aan het einde van een zin staan. Dit heet een self-attention-mechanisme.
Neem de zin: “De muis paste niet in de kooi omdat hij te groot was.”
Een transformer kan het woord ‘muis’ als belangrijker beoordelen dan ‘kooi’, en correct vaststellen dat ‘hij’ in de zin naar de muis verwijst.
Maar een model zoals een RNN zou ‘hij’ kunnen interpreteren als de kooi, omdat dat het laatst verwerkte zelfstandig naamwoord was.
Het ‘transformer’-aspect zorgt ervoor dat ChatGPT context beter begrijpt en intelligentere antwoorden kan geven dan eerdere modellen.
Natuurlijke taalverwerking
Wat ChatGPT zo bijzonder maakt, is dat het gebruikmaakt van natuurlijke taalverwerking. Het kan met ons communiceren omdat het natuurlijke menselijke taal kan verwerken en begrijpen.
Wat is natuurlijke taalverwerking?
Natuurlijke taalverwerking (NLP) is een tak van kunstmatige intelligentie die zich richt op de interactie tussen computers en mensen via natuurlijke taal.
Het stelt machines in staat om menselijke taal te begrijpen, interpreteren en genereren op een manier die betekenisvol en bruikbaar is.
NLP vs NLU vs NLG
NLP is een breed vakgebied dat verschillende subdisciplines omvat, waaronder natural language understanding (NLU) en natural language generation (NLG).
NLP is het overkoepelende domein, terwijl NLU en NLG gespecialiseerde onderdelen zijn. Dat komt omdat natuurlijke taalverwerking zowel begrip als generatie vereist tijdens een gesprek.
Hoe werkt NLP?
NLU ontleedt menselijke taal om de betekenis en intentie te interpreteren. Zo werkt het stap voor stap:
- De tekst wordt voorbewerkt om overbodige elementen te verwijderen (zoals leestekens en stopwoorden).
- Het systeem identificeert belangrijke onderdelen zoals entiteiten, trefwoorden en zinnen uit de tekst.
- Het analyseert de zinsstructuur om relaties tussen woorden en concepten te begrijpen.
- Het NLU-model koppelt de herkende elementen aan specifieke intenties of doelen.
- De NLU-engine verfijnt zijn begrip op basis van context en de interactiegeschiedenis van de gebruiker.
Het systeem levert een gestructureerde output die passende acties of antwoorden kan activeren.
Het trainingsproces van ChatGPT
ChatGPT wordt getraind via een tweestapsproces: voortraining en verfijning.
Pre-training
Eerst wordt het AI-model blootgesteld aan enorme hoeveelheden tekstdata – uit boeken, websites en andere bronnen.
Tijdens de voortraining leert het model het volgende woord in een zin te voorspellen, waardoor het patronen in taal leert herkennen. Zo bouwt het een statistisch begrip van taal op, waardoor het samenhangende tekst kan genereren.
Fine-tuning
Na de voortraining wordt het model verder verfijnd met specifiekere datasets. Voor ChatGPT zijn dit datasets die speciaal zijn samengesteld voor gesprekken.
Een belangrijk onderdeel van deze stap is Reinforcement Learning from Human Feedback (RLHF), waarbij menselijke trainers de antwoorden van het model beoordelen. Deze feedback helpt ChatGPT om betere, relevantere en contextueel juiste antwoorden te geven.
Belangrijke ChatGPT-termen
Tokens
De tekst-eenheden (woorden of delen van woorden) die het model verwerkt. De invoer en uitvoer van ChatGPT worden in tokens omgezet voor efficiënte verwerking.
Zero-shot learning
Het vermogen van het model om taken uit te voeren waarvoor het niet specifiek is getraind, door te vertrouwen op algemene kennis.
Bij one-shot learning krijgt het model één voorbeeld, bij n-shot learning krijgt het meerdere voorbeelden om van te leren.
Attention-mechanisme
Een onderdeel van het transformer-model waarmee het zich kan richten op verschillende delen van de invoertekst bij het genereren van antwoorden.
Hallucinatie
Een AI-model ‘hallucineert’ wanneer het onjuiste of onzinnige informatie genereert. Hallucinaties kunnen worden verminderd met strategieën zoals retrieval-augmented generation (RAG).
Chain-of-thought redeneren
Een methode die het model helpt stap voor stap te denken, waardoor het beter complexe opdrachten of taken aankan.
Sommige ChatGPT-modellen zijn standaard uitgerust met deze strategie – zoals de nieuwste OpenAI o1-modellen. Maar je kunt elke versie vragen om chain-of-thought redeneren: vraag het model gewoon om zijn redenering stap voor stap uit te leggen.
Pre-training
De beginfase waarin het model wordt getraind op een enorme dataset om taalpatronen te leren, voordat het wordt verfijnd voor specifieke taken.
Fine-tuning
Het proces waarbij het model wordt bijgeschaafd op een kleinere dataset of taak om de prestaties voor specifieke toepassingen te verbeteren.
Contextvenster
De limiet op de hoeveelheid invoertekst die het model kan meenemen bij het genereren van een antwoord.
Bij een kleine context window kun je geen lang rapport sturen en om een samenvatting vragen – het model zal dan het begin van het document ‘vergeten’.
Hoe kun je ChatGPT aanpassen?
Er zijn verschillende manieren om krachtige LLMs, zoals de GPT-engine achter ChatGPT, aan te passen. Je eigen LLM-agent maken is makkelijker dan je denkt.
Aangepaste GPT's
OpenAI geeft gebruikers de mogelijkheid om GPT's naar wens aan te passen. Je kunt een aangepaste GPT instrueren om je de regels van een bepaald bordspel te leren, posters voor rock-metalbands te ontwerpen of je AI-concepten uit te leggen.
Aangepaste AI-agents
Met de vooruitgang in AI-technologie is het eenvoudig (en gratis) om je eigen LLM-gestuurde AI-agenten te maken.
Van low-code drag-and-drop builders tot geavanceerde codeeromgevingen: er zijn uitstekende AI-bouwplatforms voor elk gebruiksdoel en vaardigheidsniveau.
Een eigen LLM-agent bouwen betekent dat je een op maat gemaakte AI-assistent kunt ontwerpen die je afspraken plant en je wekelijkse rapportages genereert. Of je bouwt een klantenservice AI-agent die je inzet op WhatsApp. De mogelijkheden zijn eindeloos.
Bouw gratis een chatbot op basis van GPT
ChatGPT is een algemene chatbot, maar je kunt de krachtige GPT-engine van OpenAI gebruiken om je eigen aangepaste AI-chatbot te bouwen.
Maak gebruik van de kracht van de nieuwste LLM's met je eigen aangepaste chatbot.
Botpress is een flexibel en eindeloos uitbreidbaar AI-chatbotplatform. Het stelt gebruikers in staat om elk type AI-agent of chatbot te bouwen voor elk denkbaar gebruik.
Integreer je chatbot met elk platform of kanaal, of kies uit onze bibliotheek met kant-en-klare integraties. Begin met tutorials van het Botpress YouTube-kanaal of met gratis cursussen van Botpress Academy.
Begin vandaag nog met bouwen. Het is gratis.
Veelgestelde vragen
1. Hoe verhoudt ChatGPT zich tot andere AI-chatbots zoals Google Bard of Claude?
ChatGPT blinkt uit in gestructureerd redeneren en coderen, Bard (van Google) is sterk geïntegreerd met zoeken en real-time data via Google, en Claude (van Anthropic) is ontworpen voor veiligheid en langere geheugencontexten.
2. Kan ChatGPT tekst in meerdere talen even goed begrijpen en genereren?
ChatGPT kan tekst in veel talen begrijpen en genereren, maar is het meest vloeiend en nauwkeurig in het Engels. In wijdverspreide talen zoals Spaans, Frans of Duits presteert het redelijk goed, maar bij complexere talen kan de kwaliteit afnemen.
3. Denkt of begrijpt ChatGPT zoals een mens?
ChatGPT denkt of begrijpt niet zoals een mens. Het heeft geen bewustzijn of echt begrip. ChatGPT genereert antwoorden door statistisch het meest waarschijnlijke volgende woord te voorspellen op basis van patronen uit de training, zonder enig echt begrip.
4. Is ChatGPT bevooroordeeld? Hoe wordt bias gemeten of aangepakt in LLMs?
Ja, ChatGPT kan vooroordelen vertonen die voortkomen uit de data waarop het is getraind, waaronder maatschappelijke of culturele bias. OpenAI beperkt dit door technieken als reinforcement learning from human feedback (RLHF), red-teaming en voortdurende monitoring, maar bias volledig uitsluiten is lastig.
5. Hoe vaak wordt ChatGPT bijgewerkt met nieuwe informatie?
ChatGPT wordt niet in real-time bijgewerkt; de kennis is statisch en gebaseerd op trainingsdata tot een bepaald moment. Updates gebeuren alleen wanneer OpenAI een nieuwe versie uitbrengt of het model opnieuw traint, dus recente gebeurtenissen worden niet altijd weerspiegeld, tenzij web browsing is ingeschakeld in bepaalde versies.
.webp)
