Botpress'ta Yapay Zeka Harcamalarını Nasıl Optimize Edersiniz

Birçok işletme, yapay zeka teknolojilerinin potansiyelinden yararlanırken aşırı harcama yapmama zorluğuyla karşı karşıya. Bu dengenin önemini biliyoruz ve kullanıcılarımızın yapay zekadan maliyet-etkin şekilde faydalanmasını sağlayacak çözümler sunmaya kararlıyız.

Yapay Zeka Maliyetine Yaklaşımımız

Öncelikle, kullanıcılarımıza yapay zeka avantajlarını sunarken maliyetleri nasıl düşürdüğümüzü anlamak için iki önemli bileşeni bilmek gerekir.

Şeffaf Fiyatlandırma: Gizli Ücret Yok

Yapay zeka ile ilgili işlemlere herhangi bir ek ücret eklemiyoruz. Yani yapay zeka harcamanız, bizim tarafımızdan ek bir ücret olmadan doğrudan gerçek kullanımınıza bağlıdır.

Yapay Zeka Yanıtlarını Önbelleğe Alma

Önbellekleme, botların yapay zeka maliyetlerini azaltmada en etkili stratejilerimizden biridir. Yapay zeka yanıtlarını önbelleğe alarak, LLM sağlayıcısına yapılan istek sayısını azaltıyor ve böylece sorgu maliyetini yaklaşık %30 düşürerek, kullanıcılarınızla bot arasındaki etkileşim kalitesinden ödün vermeden tasarruf sağlıyoruz.

Yapay Zeka Maliyetini Optimize Etme İpuçları

Kullanıcılarımızın yapay zeka harcamalarını azaltmak için benimsediğimiz iki yaklaşımı gördüğümüze göre, botunuzu oluştururken maliyeti daha da düşürmek için kullanabileceğiniz ipuçlarına bakalım.

Bilgi Tabanlarınızı Optimize Edin

Bilgi Tabanlarınızı (KB) optimize etmek, genellikle bir Botpress projesindeki en büyük yapay zeka maliyet kalemi oldukları için yapay zeka harcamanızı önemli ölçüde etkileyebilir.

İpucu 1: Doğru Yapay Zeka Modelini Seçin

Bir yapay zeka modeli seçimi maliyeti doğrudan etkiler. GPT-3.5 Turbo, GPT-4 Turbo'ya göre daha hızlı ve daha ucuz olduğundan, daha gelişmiş sürümlere geçmeden önce kurulumunuzu GPT-3.5 Turbo ile kapsamlı şekilde test etmenizi öneririz.

KB Agent hibrit modumuz, mükemmel bir orta yol sunar; önce GPT-3.5 Turbo ile sorguya yanıt vermeye çalışır, gerekirse GPT-4 Turbo'ya geçeriz.

İpucu 2: Bilgi Tabanınızı Koruyun

Yapay zeka veya akıllı yanıt gerektirmeyen tipik SSS'leri Find Records kartı ile çözerek bilgi tabanınızı gereksiz sorgulardan koruyup yapay zeka harcamanızı azaltabilirsiniz. Örneğin, kullanıcıların genellikle sorduğu 50 iyi bilinen soru ve yanıtı varsa, bunları bir tabloya ekleyip Find Records kartı ile sorgulayabilirsiniz. Yanıt bulunamazsa, ancak o zaman bilgi tabanına bakılır.

İpucu 3: Bilgi Tabanlarınızı Doğru Kapsamlandırın

Bir bilgi tabanına eklemek istediğiniz bilginin türüne ve miktarına bağlı olarak, yapay zeka harcamasını azaltmak için genellikle iki şeyi paralel yapmak en iyi uygulamadır. Öncelikle, bilgilerinizi her biri belirli bir ürün/özellik/konuya özel küçük bilgi tabanlarına ayırın. İkinci olarak, kullanıcıyı birden fazla soru ile yönlendirerek aramanızı belirli bir bilgi tabanına daraltın; bu hem maliyeti azaltır hem de daha iyi sonuçlar verir.

İpucu 4: Web Sitesi Bilgi Tabanı Veri Kaynağı vs Web'de Ara Bilgi Tabanı Veri Kaynağı

Bilgi tabanı veri kaynağı olarak bir web sitesi kullanıyorsanız ve web sitesinde botunuza gerçek zamanlı yansıtılması gereken sürekli değişiklikler yapmıyorsanız, Web Sitesi KB veri kaynağı yerine Web'de Ara KB veri kaynağını kullanmak daha uygun maliyetli bir alternatiftir. Bu geçişi yapmadan önce, beklediğiniz sorularda performansın düşmediğinden emin olmak için test yapın.

İpucu 5: Find Records veya Execute Code kartı ile Tabloları Sorgulayın

Sorgulamak istediğiniz veriler bir Tablo'da ise, Tablo'yu bir bilgi tabanında kullanmak yerine Find Records kartını kullanmayı düşünün. Teknik bilgiye sahip olanlar için, kod çalıştırmak Tablo'yu sorgulamanın daha da uygun maliyetli bir yoludur. Bunu, Execute Code kartından Tablo'yu doğrudan sorgulayarak ve çıktıyı daha sonra başvurabileceğiniz bir iş akışı değişkeninde saklayarak yapabilirsiniz.

İpucu 6: Parçaları Kontrol Edin

Buradaki 'parçalar'dan kastım, yanıt oluşturmak için Bilgi Tabanı'ndan alınacak parça sayısıdır. Genellikle daha fazla parça alındıkça yanıt daha doğru olur; ancak yanıt oluşturmak daha uzun sürer ve daha fazla yapay zeka token'ı harcar. Doğru yanıtlar almak için gereken en düşük parça sayısını belirlemek üzere parça boyutuyla denemeler yapın.

Yapay Zeka Harcamasını Azaltmak için Execute Code Kartını Kullanın

Execute Code kartı, bazı yapay zeka kartlarının yerine uygun ve maliyet-etkin bir alternatif olabilir. İşte kullanabileceğiniz bazı senaryolar:

Daha Akıllı Mesaj Alternatifleri

Botunuzun aynı sorguya her seferinde farklı bir yapay zeka yanıtı vermesini istiyorsanız, önbelleğe almayı engellemelisiniz (nasıl yapılacağını Ek'te bulabilirsiniz). Bazen, konuşma deneyimini iyileştirmek için artan yapay zeka harcaması haklı olabilir. Ancak bu her zaman geçerli değildir.

Örneğin, LLM'lerle oluşturulan basit bir selamlamayı düşünün. Her selamlamada ek bir yapay zeka maliyeti oluşur. Buna değer mi? Muhtemelen hayır. Neyse ki, daha uygun maliyetli bir çözüm var: Birden fazla yanıt içeren bir dizi ve rastgele bir yanıt seçip sunan basit bir fonksiyon kullanmak.

Konuşma hacmine bağlı olarak, bu yöntemi uygulayarak elde edeceğiniz tasarruf çabaya değebilir.

Alternatif mesajların nasıl uygulanacağına dair daha fazla detayı burada bulabilirsiniz.

Basit Görevler için Kod Çalıştırma

Veri biçimlendirme veya yapılandırılmış veriden bilgi çıkarma gibi basit görevlerde, Execute Code kartı kullanmak LLM'ye kıyasla daha verimli, ucuz ve hızlı olabilir.

Summary Agent Alternatifleri

Kendi konuşma kaydınızı oluşturmak için Execute Code kartlarını kullanabilirsiniz. Kullanıcı ve bot mesajlarını bir dizi değişkende takip etmek istediğiniz her yere bir Execute Code kartı ekleyin. Sonrasında bu diziyi bilgi tabanınıza bağlam olarak verebilirsiniz.

Mümkün Olduğunda Basitleştirin

Aynı hedefe ulaşan, kullanıcı deneyimini bozmayacak daha basit etkileşim yöntemini tercih edin. Örneğin, kullanıcı geri bildirimi toplamak istiyorsanız, basit yıldızlı bir derecelendirme ve yorum sistemi, aynı bilgiyi yapay zeka ile toplamaktan daha uygun maliyetli olur.

Yapay Zeka Görevleri, Yapay Zeka ile Metin Oluşturma ve Çeviri İpuçları

Doğru Yapay Zeka Modelini Seçin

Evet, doğru yapay zeka modelini seçmek o kadar önemli ki tekrar vurgulamak gerekir. Bilgi tabanlarında olduğu gibi, yapay zeka görevlerinde de model seçimi maliyeti doğrudan etkiler. Daha basit talimatlar için GPT-3.5 Turbo'yu tercih edin. Daha gelişmiş sürümlere geçmeden önce bu modelle kurulumunuzu kapsamlı şekilde test edin. Unutmayın, GPT-4 Turbo'nun maliyeti GPT-3.5 Turbo'dan 20 kat fazladır. Sonuçlar çok daha iyi değilse, GPT-3.5 Turbo'yu tercih edin.

Buna ek olarak, her yapay zeka görevi çalıştırmada tüketilen token sayısını azaltarak da yapay zeka harcamanızı koruyabilirsiniz.

Bu sayıyı azaltırken dikkatli olmanızı öneririm, çünkü ek token'lar kesilecektir. Örneğin, uzunluğu 2000 token ile sınırlandırırsanız ve isteminiz ile çıktınız toplamda 2000 token'dan fazlaysa, girişiniz buna göre kesilecektir.

Yapay Zeka Görevi vs Yapay Zeka ile Metin Oluşturma

Basit metin çıktıları için, Yapay Zeka ile Metin Oluşturma kartı daha az token kullanır ve kurulumu daha kolaydır. Bilgi ayrıştırma gibi görevlerde ise Yapay Zeka Görevi kartı daha iyi sonuç verir.

Bu nedenle, yapay zekadan bilgi işleme amacıyla yararlanmak istiyorsanız (ör. kullanıcının niyetini tespit etmek veya girdiyi analiz etmek), Yapay Zeka Görevi kartını kullanmanızı öneririm. Ancak, yapay zekadan metin üretmek istiyorsanız (ör. bir bilgi tabanı yanıtını genişletmek veya yaratıcı bir soru üretmek), bunun yerine Yapay Zeka ile Metin Oluşturma kartını kullanın.

Yapay Zeka Görevi kartı ile Yapay Zeka ile Metin Oluşturma kartı arasındaki farkları daha ayrıntılı incelemek için buradan daha fazla bilgi edinebilirsiniz.

Çeviriler

Botunuz çok dilli konuşmaları yoğun şekilde yönetecekse, daha uygun maliyetli bir seçenek için harici çeviri servisleriyle entegre kancalar kullanmayı değerlendirin.

Kancalar hakkında daha fazla bilgiyi burada bulabilirsiniz.

Sonuç

Bu strateji ve ipuçlarıyla, Botpress'ta yapay zeka harcamanızı optimize edebilirsiniz. Farklı görevlerin maliyet etkilerini anlamak ve ihtiyaçlarınıza en verimli yöntemleri seçmek, performanstan ödün vermeden yapay zeka ile ilgili giderlerinizi azaltacaktır.

Ekibimiz, bu seçenekler arasında size rehberlik etmek ve botunuzun kullanıcılarınıza en iyi deneyimi en verimli maliyetle sunmasını sağlamak için burada. Daha fazla bilgi için Fiyatlandırma sayfamızı ziyaret edebilir veya yardım almak için Discord sunucumuza katılabilirsiniz.

Ek

Önbelleklemenin Önlenmesi

Her zaman canlı sonuçlar almak için önbelleklemeden kaçınmak istiyorsanız, aşağıdaki seçeneklerden birini uygulayabilirsiniz:

• Daha kalıcı bir önbellek önleme için: Tüm yapay zeka ile ilgili kartlarınıza (ör. AI Görev istemlerinde, KB bağlamında vb.) `And discard:{{Date.now()}}` ekleyin.
• Geçici olarak önbelleği önlemek için: Botunuzu yayınlayın ve gizli pencereden test edin.

Önerilen Kurslar

• ‍Geliştiriciler için ChatGPT Prompt Mühendisliği (başlıkta geliştiriciler için yazsa da, geliştirici olmayanlar da faydalanacaktır!)
• ‍ChatGPT API ile Sistemler Kurmak