LLM 순위 | Botpress에서 다양한 모델의 성능은 어떨까요?

최근 90일간의 데이터

model_second

model_first

개수

output_tokens_per_sec_mean

$cost_mean

자주 묻는 질문

요청이란 무엇인가요?

요청은 Botpress에서 대형 언어 모델(LLM)로 전송되는 한 번의 상호작용을 의미합니다. 입력 데이터, 설정 파라미터, 그리고 모델이 요청을 처리하고 응답을 반환하는 데 필요한 관련 컨텍스트가 포함됩니다. 각 요청은 텍스트 생성, 질문 응답, 기타 작업 등 LLM에 대한 한 번의 호출을 나타냅니다.

위 차트의 데이터는 Botpress 사용자가 각 LLM에 보낸 개별 요청 수를 보여줍니다.

속도란 무엇인가요?

‍속도는 LLM이 요청을 처리할 때 초당 생성하는 토큰의 평균 개수를 의미합니다. 토큰은 모델이 읽거나 생성하는 단어 또는 단어의 일부와 같은 텍스트 단위입니다. 이 측정값은 모델의 출력 성능을 나타내며, 얼마나 빠르게 응답을 반환할 수 있는지를 보여줍니다.

위 차트의 데이터는 Botpress에서 쿼리할 때 모델이 초당 생성하는 전체 토큰 수의 평균을 나타냅니다.

비용이란 무엇인가요?

비용은 Botpress에서 특정 LLM에 1,000건의 요청을 처리할 때 드는 평균 미국 달러 가격을 의미합니다. 이 지표는 다양한 모델 사용 시 상대적인 비용 효율성을 보여주며, 대량 요청 처리 시 비용을 가늠하는 데 도움이 됩니다.

하나의 대화에 여러 요청이 포함될 수 있습니다. 위 차트의 데이터를 참고해 대화 유형에 따라 월별 AI 사용 비용을 대략적으로 추산할 수 있습니다.

이 페이지의 데이터는 얼마나 자주 업데이트되나요?

Botpress의 LLM 사용 정보는 실시간으로 수집되지만, 이 페이지의 차트는 48시간마다 한 번씩 업데이트됩니다.

모델 살펴보기

자주 묻는 질문