Kedudukan LLM | Bagaimana prestasi model-model berbeza di Botpress?

Data dari 90 hari yang lalu

model_kedua

model_pertama

jumlah

purata_token_keluaran_per_saat

$kos_purata

Soalan Lazim

Apakah itu permintaan?

Permintaan merujuk kepada satu interaksi yang dihantar ke model bahasa besar (LLM) dari Botpress. Ia merangkumi data input, parameter konfigurasi, dan sebarang konteks berkaitan yang diperlukan untuk model memproses permintaan dan memberikan respons. Setiap permintaan mewakili satu panggilan ke LLM, seperti menjana teks, menjawab soalan, atau melaksanakan tugas lain.

Data dalam carta di atas menunjukkan bilangan permintaan individu yang dibuat ke setiap LLM yang digunakan oleh pengguna dari Botpress.

Apa maksud kelajuan?

‍Kelajuan merujuk kepada purata bilangan token yang dijana oleh LLM setiap saat semasa memproses permintaan. Token ialah unit teks, seperti perkataan atau sebahagian perkataan, yang dibaca atau dihasilkan oleh model. Ukuran ini menunjukkan prestasi output model, iaitu seberapa pantas ia boleh memberikan respons.

Data dalam carta di atas menunjukkan purata jumlah token yang dijana oleh model setiap saat apabila diminta daripada Botpress.

Apa maksud kos?

Kos merujuk kepada purata harga dalam dolar AS untuk memproses 1,000 permintaan ke LLM tertentu dari Botpress. Metrik ini membantu menunjukkan perbelanjaan relatif menggunakan model berbeza, memberikan gambaran tentang kecekapan kos apabila mengendalikan jumlah permintaan yang besar.

Satu perbualan mungkin mengandungi beberapa permintaan. Anda boleh menggunakan data dalam carta di atas untuk menganggarkan, berdasarkan sifat perbualan anda, perbelanjaan AI bulanan anda.

Seberapa kerap data di halaman ini dikemas kini?

Walaupun maklumat penggunaan LLM di Botpress dikumpul secara masa nyata, carta di halaman ini dikemas kini setiap 48 jam.

Temui model-model

Soalan Lazim