Classifica LLM | Come si comportano i diversi modelli su Botpress?

Dati degli ultimi 90 giorni

model_second

model_first

conteggio

output_tokens_per_sec_mean

$cost_mean

Domande frequenti

Cosa sono le richieste?

Una richiesta si riferisce a una singola interazione inviata da Botpress a un modello linguistico di grandi dimensioni (LLM). Include i dati di input, i parametri di configurazione e qualsiasi contesto rilevante necessario affinché il modello elabori la richiesta e restituisca una risposta. Ogni richiesta rappresenta una chiamata a un LLM, come la generazione di testo, la risposta a una domanda o l’esecuzione di altri compiti.

I dati nei grafici sopra mostrano il numero di richieste individuali inviate a ciascun LLM interrogato dagli utenti tramite Botpress.

A cosa si riferisce la velocità?

‍Velocità indica il numero medio di token che un LLM genera al secondo durante l’elaborazione di una richiesta. I token sono unità di testo, come parole o parti di parole, che il modello legge o produce. Questa misura riflette le prestazioni in output del modello, cioè quanto rapidamente può restituire una risposta.

I dati nei grafici sopra mostrano la media del numero totale di token generati da un modello al secondo quando interrogato da Botpress.

A cosa si riferisce il costo?

Costo si riferisce al prezzo medio in dollari USA per l’elaborazione di 1.000 richieste a uno specifico LLM tramite Botpress. Questa metrica aiuta a mostrare la spesa relativa nell’uso di diversi modelli, fornendo un’idea della loro efficienza in termini di costi quando si gestiscono grandi volumi di richieste.

Una singola conversazione può contenere più richieste. Puoi usare i dati nei grafici sopra per stimare, in base alla natura delle tue conversazioni, la tua spesa mensile per l’AI.

Con quale frequenza vengono aggiornati i dati di questa pagina?

Anche se le informazioni sull’uso degli LLM in Botpress vengono raccolte in tempo reale, i grafici in questa pagina vengono aggiornati ogni 48 ore.

Scopri modelli

Domande frequenti