LLM-ranking | Hoe presteren verschillende modellen op Botpress?

Gegevens van de afgelopen 90 dagen

model_second

model_first

aantal

output_tokens_per_sec_mean

$cost_mean

Veelgestelde vragen

Wat zijn verzoeken?

Een verzoek is een enkele interactie die vanuit Botpress naar een groot taalmodel (LLM) wordt gestuurd. Dit omvat de invoergegevens, configuratieparameters en alle relevante context die nodig is voor het model om het verzoek te verwerken en een antwoord te geven. Elk verzoek staat voor één oproep naar een LLM, bijvoorbeeld voor het genereren van tekst, het beantwoorden van een vraag of het uitvoeren van andere taken.

De gegevens in de bovenstaande grafieken tonen het aantal individuele verzoeken aan elk van de LLM's die door gebruikers vanuit Botpress zijn aangeroepen.

Waar verwijst snelheid naar?

‍Snelheid verwijst naar het gemiddelde aantal tokens dat een LLM per seconde genereert bij het verwerken van een verzoek. Tokens zijn eenheden tekst, zoals woorden of delen van woorden, die het model leest of produceert. Deze meting geeft de uitvoerprestaties van het model weer en laat zien hoe snel het een antwoord kan geven.

De gegevens in de bovenstaande grafieken tonen het gemiddelde totale aantal tokens dat een model per seconde genereert wanneer het via Botpress wordt bevraagd.

Waar verwijst kosten naar?

Kosten verwijst naar de gemiddelde prijs in Amerikaanse dollars voor het verwerken van 1.000 verzoeken aan een specifiek LLM vanuit Botpress. Deze maatstaf geeft inzicht in de relatieve kosten van verschillende modellen en helpt bij het beoordelen van hun kostenefficiëntie bij grote aantallen verzoeken.

Een enkel gesprek kan uit meerdere verzoeken bestaan. Je kunt de gegevens in de bovenstaande grafieken gebruiken om, afhankelijk van het type gesprekken, je maandelijkse AI-kosten globaal in te schatten.

Hoe vaak worden de gegevens op deze pagina bijgewerkt?

Hoewel informatie over LLM-gebruik in Botpress in realtime wordt verzameld, worden de grafieken op deze pagina elke 48 uur bijgewerkt.

Ontdek modellen

Veelgestelde vragen