Wat betekent GPT-4o voor chatbots?

Twee keer zo snel en de helft goedkoper – wat betekent GPT-4o voor AI-chatbots?

Na hun mysterieuze aankondiging heeft OpenAI de nieuwste versie van hun vlaggenschipmodel gelanceerd: GPT-4o.

Het nieuwste model kreeg niet alleen een opvallende upgrade in multimodale mogelijkheden. Het is sneller en goedkoper dan GPT-4 Turbo. Terwijl de reguliere media vooral focussen op de video- en spraakfuncties van het nieuwe vlaggenschipmodel voor ChatGPT, zijn de nieuwe kosten en snelheid minstens zo belangrijk voor wie GPT gebruikt om hun apps aan te sturen.

“De beschikbaarheid van 4o kan zowel de ervaring van de bouwer als de gebruiker aanzienlijk verbeteren,” zegt Patrick Hamelin, software engineer lead bij Botpress. “De impact is groter dan we denken.”

Laten we dus kijken hoe het nieuwe model AI-chatbots zal veranderen.

Modelmogelijkheden

Het nieuwe vlaggenschipmodel komt met een indrukwekkende lijst van updates en nieuwe functies: verbeterde spraak- en videomogelijkheden, realtime vertaling, natuurlijkere taalverwerking. Het kan afbeeldingen analyseren, een breder scala aan audiobronnen begrijpen, helpen samenvatten, realtime vertalen en grafieken maken. Gebruikers kunnen bestanden uploaden en een spraakgesprek voeren. Er is zelfs een desktop-app beschikbaar.

In hun reeks introductievideo’s laten OpenAI-medewerkers (en partners zoals Sal Khan van Khan Academy) zien hoe de nieuwste versie van GPT een gebruiker voorbereidt op een sollicitatiegesprek, zingt, menselijke emoties herkent via gezichtsuitdrukkingen, wiskundige vergelijkingen oplost en zelfs met een andere ChatGPT-4o communiceert.

De lancering liet een nieuwe realiteit zien waarin een AI-model het schrift in het schriftje van je kind kan analyseren en daarop kan reageren. Het kan voor het eerst het concept van breuken optellen uitleggen, de toon en aanpak aanpassen aan het begrip van je kind – het kan de stap maken van chatbot naar persoonlijke tutor.

Wat betekent GPT-4o voor LLM-chatbots?

AI-chatbots die draaien op LLM’s krijgen een update telkens als bedrijven als OpenAI hun modellen vernieuwen. Als een LLM-agent is gekoppeld aan een botbouwplatform zoals Botpress, profiteren hun chatbots direct van de nieuwste GPT-mogelijkheden.

Met de introductie van GPT-4o kunnen AI-chatbots nu kiezen voor het geavanceerde model, wat hun mogelijkheden, prijs en snelheid verandert. Het nieuwe model heeft 5 keer hogere limieten dan GPT-4 Turbo en kan tot 10 miljoen tokens per minuut verwerken.

Voor bots die audio-integraties zoals Twilio op Botpress gebruiken, is er een nieuwe wereld van spraakgestuurde interactie ontstaan. In plaats van beperkt te zijn tot de audiotechnologie van vroeger, komen chatbots dichter bij menselijke interactie.

Misschien wel het belangrijkste is de lagere prijs voor betalende gebruikers. Een vergelijkbare chatbot draaien voor de helft van de kosten kan de toegankelijkheid wereldwijd flink vergroten. En Botpress-gebruikers betalen geen extra AI-kosten voor hun bots – deze besparingen gaan dus direct naar de makers.

En voor de eindgebruiker betekent GPT-4o een veel betere ervaring. Niemand houdt van wachten. Kortere reactietijden zorgen voor meer tevredenheid bij gebruikers van AI-chatbots.

Gebruikers houden van snelheid

Een belangrijk uitgangspunt voor de adoptie van chatbots is het verbeteren van de gebruikerservaring. En wat verbetert de gebruikerservaring meer dan kortere wachttijden?

“Het wordt zeker een betere ervaring,” zegt Hamelin. “Het laatste wat je wilt, is op iemand moeten wachten.”

Mensen hebben een hekel aan wachten. Al in 2003 bleek uit een onderzoek dat mensen slechts ongeveer 2 seconden willen wachten tot een webpagina laadt. Ons geduld is sindsdien zeker niet toegenomen.

En iedereen heeft een hekel aan wachten

Er zijn talloze UX-tips om de ervaren wachttijd te verkorten. Vaak kunnen we de snelheid van gebeurtenissen niet verbeteren, dus richten we ons op manieren om gebruikers het gevoel te geven dat de tijd sneller gaat. Visuele feedback, zoals een laadbalk, is bedoeld om de ervaren wachttijd te verkorten.

In een bekend verhaal over wachttijden bij liften kreeg een oud gebouw in New York veel klachten. Bewoners moesten 1-2 minuten wachten op de lift. Het gebouw kon de lift niet vervangen en bewoners dreigden hun huur op te zeggen.

Een nieuwe medewerker, getraind in psychologie, ontdekte dat het echte probleem niet de verloren tijd was, maar verveling. Hij stelde voor om spiegels te plaatsen zodat bewoners zichzelf of anderen konden bekijken tijdens het wachten. De klachten verdwenen, en nu zijn spiegels in lifthallen heel gewoon.

In plaats van trucjes om de gebruikerservaring te verbeteren – zoals visuele feedback – heeft OpenAI de ervaring bij de bron verbeterd. Snelheid is essentieel voor de gebruikerservaring, en niets is zo bevredigend als een efficiënte interactie.

Besparingen voor iedereen

Toepassingen draaien op dit nieuwe AI-model is ineens goedkoper geworden. Veel goedkoper.

Een AI-chatbot op grote schaal draaien kan duur zijn. Het LLM-model waar je bot op draait bepaalt hoeveel je betaalt per gebruikersinteractie op grotere schaal (tenminste bij Botpress, waar we AI-kosten 1-op-1 koppelen aan LLM-kosten).

En deze besparingen zijn er niet alleen voor ontwikkelaars die de API gebruiken. ChatGPT-4o is de nieuwste gratis versie van het LLM, naast GPT-3.5. Gratis gebruikers kunnen de ChatGPT-app kosteloos gebruiken.

Betere tokenisatie

Als je het model gebruikt in een taal die niet het Romeinse alfabet gebruikt, verlaagt GPT-4o je API-kosten nog verder.

Het nieuwe model heeft verbeterde gebruikslimieten. Het biedt een grote sprong in tokenisatie-efficiëntie, vooral bij bepaalde niet-Engelse talen.

Het nieuwe tokenisatiemodel heeft minder tokens nodig om invoertekst te verwerken. Het is veel efficiënter voor logografische talen (talen die symbolen en tekens gebruiken in plaats van losse letters).

Deze voordelen zijn vooral merkbaar bij talen die niet het Romeinse alfabet gebruiken. De geschatte besparingen zijn als volgt:

• Indiase talen, zoals Hindi, Tamil of Gujarati, hebben een tokenreductie van 2,9 – 4,4 keer
• Arabisch heeft een tokenreductie van ongeveer 2 keer
• Oost-Aziatische talen, zoals Chinees, Japans en Vietnamees, hebben een tokenreductie van 1,4 – 1,7 keer

De AI-digitale kloof verkleinen

Het digitale tijdperk heeft de eeuwenoude, goed gedocumenteerde welvaartskloof uitgebreid – de digitale kloof. Net zoals toegang tot rijkdom en goede infrastructuur voorbehouden is aan bepaalde groepen, geldt dat ook voor toegang tot AI en de kansen en voordelen die daarbij horen.

Robert Opp, Chief Digital Officer bij het United Nations Development Programme (UNDP), legde uit dat de aanwezigheid van AI-platforms het verschil kan maken voor de ontwikkelingscijfers van een heel land:

Door de kosten van GPT-4o te halveren en een gratis versie aan te bieden, zet OpenAI een belangrijke stap om een van de grootste problemen rond AI aan te pakken – en direct de ongelijkheid te bestrijden waar beleidsmakers en economen zich zorgen over maken.

Een positieve PR-actie voor grote AI-bedrijven is noodzakelijker dan enthousiastelingen misschien denken. Nu AI steeds meer aanwezig is in ons dagelijks leven, vragen voor- en tegenstanders zich af hoe we AI ‘voor het goede’ kunnen inzetten.

Volgens AI-onderzoeker en docent Louis Bouchard is bredere toegang tot AI precies hoe we dat doen: “AI toegankelijk maken is een manier, zo niet de beste, om AI ‘voor het goede’ te gebruiken.” Zijn redenatie? Als we de positieve en negatieve effecten van AI-technologie niet volledig kunnen beheersen – zeker in deze beginfase – kunnen we in elk geval zorgen voor gelijke toegang tot de voordelen ervan.

Uitgebreid multimodaal potentieel

De meest gebruikte manier om met een chatbot van een bedrijf te communiceren is via tekst, maar de verbeterde multimodale mogelijkheden van OpenAI’s nieuwe AI-model suggereren dat dit in de toekomst kan veranderen.

Komend jaar zullen we waarschijnlijk een golf van ontwikkelaars zien die nieuwe toepassingen lanceren die optimaal gebruikmaken van de nu toegankelijke audio-, beeld- en videofuncties.

Bijvoorbeeld, door GPT aangedreven chatbots zouden het volgende kunnen doen:

• Klanten vragen om een foto van het artikel dat ze willen retourneren, om het product te identificeren en te controleren of het niet beschadigd is
• Directe audiovertalingen bieden tijdens gesprekken, waarbij rekening wordt gehouden met regionale dialecten
• Aan de hand van een foto in de pan bepalen of je biefstuk gaar is
• Functioneren als gratis persoonlijke gids, historische context geven op basis van een foto van een oude kathedraal, realtime vertalen en een gepersonaliseerde rondleiding met spraak bieden waarbij je vragen kunt stellen
• Een taalleerapplicatie aandrijven die naar audio luistert, feedback geeft op uitspraak op basis van een video van je mondbewegingen, of gebarentaal onderwijst via beelden en video
• Niet-urgente mentale ondersteuning bieden door audio en video te interpreteren, waardoor laagdrempelige gespreksbegeleiding mogelijk wordt

Met AI-modellen die beelden en audio kunnen interpreteren, breidt ons begrip van hoe LLM’s ons kunnen helpen zich snel uit.

Multimodaliteit betekent toegankelijkheid

We hebben de verbeterde multimodale functies al in dienst van het maatschappelijk belang gezien. Een perfect voorbeeld is de samenwerking tussen OpenAI en Be My Eyes.

Be My Eyes is een Deense start-up die mensen met een visuele beperking verbindt met ziende vrijwilligers. Wanneer een gebruiker hulp nodig heeft – bijvoorbeeld bij het kiezen van de juiste conserven in de supermarkt of het bepalen van de kleur van een t-shirt – verbindt de app hem via video op de smartphone met een vrijwilliger ergens ter wereld.

De nieuwe visuele mogelijkheden van OpenAI kunnen Be My Eyes-gebruikers nog beter ondersteunen. In plaats van te vertrouwen op een menselijke vrijwilliger die een beeld of video in realtime bekijkt, kunnen blinde gebruikers een foto of video naar hun apparaat sturen waarop het model met audio-informatie reageert.

OpenAI en Be My Eyes, inmiddels vertrouwde partners, banen de weg naar meer zelfstandigheid voor mensen met een visuele beperking wereldwijd. Be My Eyes-CEO Michael Buckley licht het effect toe:

De nieuwe dienst wordt deze zomer, in 2024, voor het eerst uitgerold. Gebruikers met vroege toegang hebben de nieuwe beeld-, video- en audiofuncties getest en zijn zeer enthousiast. Hoewel de impact van AI zorgen kan oproepen bij sceptici, is deze samenwerking een duidelijk voorbeeld van de positieve effecten. Inzien welk maatschappelijk nut geavanceerde AI kan hebben, is een belangrijke stap voor de reputatie ervan.

Hoe beoordelen we toekomstige LLM-modellen?

Nu concurrenten blijven wedijveren om het goedkoopste en snelste LLM-model te bouwen, rijst de vraag: hoe beoordelen we de AI-modellen van morgen?

Op een gegeven moment zullen de grote LLM-makers (waarschijnlijk OpenAI en Google) een plafond bereiken in snelheid en prijs. Als kosten en snelheid stabiel zijn, hoe bepalen we dan welk model marktleider is?

Wat wordt het nieuwe kenmerk van deze tijd? Of het nu gaat om de beschikbare persoonlijkheden van je AI-model, de mogelijkheden voor videobewerking, de functies voor gratis gebruikers, of compleet nieuwe maatstaven die we nu nog niet kennen – de volgende generatie LLM’s staat voor de deur.

AI-chatbots eenvoudig gemaakt

Wat als je AI-chatbot automatisch synchroniseert met elke GPT-update?

Botpress biedt sinds 2017 aanpasbare AI-chatbotoplossingen, waarmee ontwikkelaars eenvoudig chatbots kunnen bouwen met de kracht van de nieuwste LLM’s. Botpress-chatbots kunnen getraind worden op eigen kennisbronnen – zoals je website of productcatalogus – en naadloos integreren met bedrijfsprocessen.

Als enige platform dat varieert van een no-code installatie tot eindeloze aanpasbaarheid en uitbreidbaarheid, zorgt Botpress ervoor dat je chatbot automatisch profiteert van de nieuwste GPT-versie – zonder extra inspanning.

Begin vandaag nog met bouwen. Het is gratis.

Veelgestelde vragen

1. Hoe schakel ik mijn bestaande chatbot over naar GPT-4o op Botpress?

Om je bestaande chatbot over te zetten naar GPT-4o op Botpress, ga je naar Botpress Studio, navigeer je naar de LLM-instellingen van je assistent en selecteer je GPT-4o in het keuzemenu. De wijziging wordt direct toegepast, zonder dat je code hoeft aan te passen.

2. Zijn er vereisten om GPT-4o te gebruiken binnen het Botpress-platform (zoals SDK's, API-versies)?

Nee, er zijn geen vereisten om GPT-4o te gebruiken in Botpress. Het platform beheert automatisch alle SDK’s, API-updates en backend-afhankelijkheden, dus je hoeft alleen GPT-4o te selecteren in de instellingen om het te activeren.

3. Kan GPT-4o worden aangepast of getraind voor specifieke zakelijke toepassingen via Botpress?

Hoewel GPT-4o niet op de traditionele manier kan worden getraind binnen Botpress, kun je de antwoorden en het gedrag aanpassen met prompt engineering, workflowlogica, kennisbanken en variabelen. Zo kun je GPT-4o contextueel laten werken voor jouw bedrijf zonder het model opnieuw te trainen.

4. Zijn er beperkingen op het gebruik van multimodale functies (spraak, beeld) binnen Botpress-workflows?

Ja, Botpress ondersteunt momenteel spraakfuncties via integraties zoals Twilio of Dialogflow Voice Gateway, maar multimodale mogelijkheden zoals het verwerken van afbeeldingen of video’s worden nog niet volledig ondersteund. Visuele input wordt nog overwogen of vereist omwegen.

5. Zijn er verborgen kosten verbonden aan het gebruik van geavanceerde functies van GPT-4o, zoals realtime vertaling of visuele invoer?

Nee, er zijn geen verborgen kosten voor het gebruik van de geavanceerde GPT-4o-functies in Botpress. De snelheid en efficiëntie van GPT-4o zijn inbegrepen in je bestaande Botpress-abonnement en de LLM-kosten worden door Botpress gedekt – gebruikers betalen dus geen extra kosten voor de verbeteringen van GPT-4o.