Zapytanie to pojedyncza interakcja wysłana do dużego modelu językowego (LLM) z Botpress. Obejmuje dane wejściowe, parametry konfiguracji oraz wszelki kontekst potrzebny do przetworzenia zapytania i zwrócenia odpowiedzi przez model. Każde zapytanie to jedno wywołanie LLM, np. generowanie tekstu, odpowiedź na pytanie lub wykonanie innego zadania.
Dane na powyższych wykresach pokazują liczbę pojedynczych zapytań wysłanych do każdego z LLM przez użytkowników Botpress.
Co oznacza szybkość?
Szybkość odnosi się do średniej liczby tokenów generowanych przez LLM na sekundę podczas przetwarzania zapytania. Tokeny to jednostki tekstu, takie jak słowa lub ich fragmenty, które model odczytuje lub generuje. Ten wskaźnik odzwierciedla wydajność modelu, pokazując, jak szybko może on zwrócić odpowiedź.
Dane na powyższych wykresach przedstawiają średnią całkowitą liczbę tokenów generowanych przez model na sekundę podczas zapytań z Botpress.
Co oznacza koszt?
Koszt to średnia cena w dolarach amerykańskich za przetworzenie 1 000 zapytań do konkretnego LLM z Botpress. Ten wskaźnik pozwala porównać opłacalność różnych modeli przy obsłudze dużej liczby zapytań.
Pojedyncza rozmowa może zawierać wiele zapytań. Na podstawie danych z powyższych wykresów możesz w przybliżeniu oszacować, w zależności od charakteru rozmów, miesięczne wydatki na AI.
Jak często aktualizowane są dane na tej stronie?
Chociaż informacje o użyciu LLM w Botpress są zbierane w czasie rzeczywistym, wykresy na tej stronie aktualizowane są co 48 godzin.