Paano pumili ng custom na LLM para sa iyong AI na proyekto

Binabago ng LLMs ang paraan ng paggawa natin ng AI na mga solusyon. Palaging may mga bagong modelo na lumalabas na mas magaling at handa nang gamitin.

Madalas akong tanungin kung bakit dapat piliin ang custom na LLM kaysa sa handa nang solusyon.

Kung gumagawa ka ng AI na proyekto, tulad ng pagbuo ng AI agent o AI chatbot, maaaring piliin mong gumamit ng custom na large language model (LLM).

Maraming dahilan para gumamit ng custom na LLM para sa iyong LLM agent, at maraming opsyon na puwedeng pagpilian. Sa artikulong ito, ipapaliwanag ko ang iba’t ibang paraan ng pag-customize ng LLM para sa AI na mga proyekto.

Bakit gagamit ng sariling LLM?

Maraming dahilan kung bakit gagamit ng sariling LLM:

• Gusto mong magbawas ng gastos sa pamamagitan ng pagtutok sa isang partikular na gawain na mahalaga sa iyong negosyo, o mabawasan ang pagkaantala.
• Maaaring gusto mong panatilihing pribado ang lahat ng datos, o gamitin ang sariling LLM ng iyong kumpanya.
• Maaaring gusto mong mapabuti ang kalidad ng mga sagot para sa isang tiyak na gawain.

Anuman ang dahilan, ang pag-customize ng iyong LLM ay nagbibigay-daan para i-optimize ang performance—nababalanseng katumpakan, bilis, at gastos ayon sa pangangailangan ng negosyo.

Pagpili ng LLM

May dalawang katangian ang LLMs na nakakaapekto sa AI na mga proyekto: ang laki (bilang ng mga parameter), at kalidad ng mga tugon.

Maaari mong ituring ang mga parameter na parang mga neuron sa utak. Mas malaki ang utak, kadalasan mas matalino, pero hindi laging ganoon. At may mga bahagi ng utak na talagang mahusay para sa tiyak na gawain tulad ng paningin.

Para sa mga AI na proyekto, ang laki ay kadalasang nakakaapekto sa bilis ng tugon, at malaki rin ang epekto nito sa gastos. Ang mga proyektong nangangailangan ng mababang pagkaantala ay kadalasang gumagamit ng mas maliliit na modelo, kapalit ng kalidad ng mga tugon.

Mga tanong na dapat sagutin sa pagpili ng modelo

Narito ang magandang listahan ng mga tanong na dapat masagot kapag pumipili ng modelo:

• Pwede ba akong gumamit ng cloud-based na LLM o kailangan ko bang mag-host ng sarili ko?
• Gaano kabilis dapat ang mga sagot?
• Gaano dapat katumpak ang mga sagot?
• Magkano ang matitipid o kikitain ng proyekto ko? At, anong presyo ang dapat hindi lalampas?
• Gaano kahaba ang kailangan kong mga tugon?

Sa pangkalahatan, mahirap pabilisin ang makapangyarihang modelo o bawasan ang gastos nito, at mas madali pang pagandahin ang hindi masyadong tumpak na modelo.

Gayunpaman, mas mabilis magsimula gamit ang makapangyarihang modelo, at kung natutugunan nito ang pangangailangan ng iyong proyekto, hindi mo na kailangan ng masyadong maraming engineering (at mas madali rin itong panatilihin).

Pagpili sa pagitan ng RAG, Fine-Tuning, N-Shot Learning, at Prompt Engineering

May limang pangkalahatang konsepto na nagpapabuti sa kalidad ng tugon ng LLM:

1. Pagsisimula mula sa pre-trained na modelo
2. RAG
3. Fine tuning
4. N-shot prompting
5. Prompt engineering

Hindi lang ito para sa custom na mga modelo, pero dapat isaalang-alang ang mga ito dahil nagtutulungan ang bawat isa.

Pagsisimula mula sa isang modelo

Ang unang dapat gawin ay pumili ng panimulang modelo. Maraming leaderboard online na naghahambing ng iba't ibang mga modelo.

Halimbawa:

• May leaderboard ang Hugging Face para sa open source na mga modelo.
• May mahusay na leaderboard ang Vellum para sa mas popular na mga modelo.

Kung may sariling modelo ang kumpanya mo, isaalang-alang itong gamitin para magkasya sa badyet at mapanatiling pribado ang datos. Kung kailangan mong mag-host ng sarili, tingnan ang open-source na modelo.

Fine-tuning

Ang fine-tuning ay pagbibigay ng mga halimbawa sa modelo para matutunan nitong gawin nang mahusay ang isang gawain. Kung gusto mong mahusay itong magsalita tungkol sa produkto mo, magbigay ng maraming halimbawa ng pinakamahusay na sales call ng kumpanya mo.

Kung open source ang modelo, tanungin mo kung may sapat na kakayahan ang team mo para mag-fine-tune ng modelo.

Kung closed source ang modelo at ibinibigay bilang serbisyo—tulad ng GPT-4 o Claude—karaniwan ay puwedeng mag-fine-tune ng custom na modelo gamit ang API. Karaniwang mas mahal ito, pero halos walang maintenance.

Pero para sa maraming gamit, hindi fine-tuning ang unang hakbang sa pag-optimize ng modelo.

Magandang halimbawa ng fine-tuning ay ang paggawa ng knowledge bot para sa mga static na kaalaman. Sa pagbibigay ng mga halimbawa ng tanong at sagot, dapat kaya nitong sagutin ang mga ito sa hinaharap nang hindi na kailangang hanapin pa ang sagot. Pero hindi ito praktikal para sa real-time na impormasyon.

Retrieval-augmented generation

Ang RAG ay magarang pangalan para sa simpleng bagay na ginagawa natin sa ChatGPT: pagkopya ng teksto at pagtatanong tungkol dito.

Karaniwang halimbawa nito ay ang pagtatanong kung may stock ang isang produkto sa e-commerce site, at ang chatbot ay titingin sa katalogo ng produkto (hindi sa buong internet).

Pagdating sa bilis ng development at pagkuha ng real-time na impormasyon, mahalaga ang RAG.

Hindi ito karaniwang nakakaapekto sa pagpili ng modelo, pero walang pumipigil na gumawa ng LLM API endpoint na kumukuha ng impormasyon at sumasagot, at gamitin ito na parang sarili nitong LLM.

Mas madaling i-maintain ang paggamit ng RAG para sa knowledge-based na chatbot, dahil hindi mo kailangang mag-fine-tune ng modelo at panatilihing updated—na maaari ring magbawas ng gastos.

N-shot learning

Pinakamabilis na paraan para mapabuti ang kalidad ng tugon ay ang pagbibigay ng mga halimbawa sa isang LLM API call.

Zero-shot—walang halimbawa ng hinahanap mong sagot—ang karaniwang gamit natin sa ChatGPT. Ang pagdagdag ng isang halimbawa (one-shot) ay kadalasang sapat para makita ang malaking pagbuti sa kalidad ng tugon.

Higit sa isang halimbawa ay tinatawag na n-shot. Hindi nito binabago ang modelo, di tulad ng fine-tuning. Nagbibigay ka lang ng mga halimbawa bago magtanong, tuwing magtatanong ka.

Pero hindi puwedeng sobra-sobra ang estratehiyang ito: may maximum context size ang LLM models, at ang presyo ay ayon sa laki ng mensahe. Maaaring alisin ng fine-tuning ang pangangailangan sa n-shot na mga halimbawa, pero mas matagal itong gawin nang tama.

Iba pang teknik sa prompt engineering

May iba pang teknik sa prompt engineering, tulad ng chain-of-thought, na nagpapaisip nang malakas ang mga modelo bago sumagot.

Pinapataas nito ang kalidad ng tugon, pero kapalit nito ay mas mahaba, mas mahal, at mas mabagal na tugon.

Aking mungkahi

Bagama’t bawat proyekto ay may sariling pangangailangan, magbibigay ako ng mungkahi para sa matibay na paraan.

Magandang panimulang hakbang ang paggamit ng off-the-shelf na modelo na balanse ang bilis at kalidad, tulad ng GPT-4o Mini. Suriin muna ang kalidad ng mga tugon, bilis, gastos, at pangangailangan sa context window, at tukuyin kung ano ang dapat pang pagbutihin.

Pagkatapos, para sa mas tiyak na gamit, subukan ang simpleng prompt engineering, kasunod ang RAG, at sa huli ay fine-tuning. Lahat ng modelong daraan dito ay magkakaroon ng pagbuti, kaya maaaring mahirap tukuyin kung alin ang gagamitin.

Mga konsiderasyon sa privacy

Sa ideal na mundo, ang bawat LLM ay 100% kontrolado mo, at walang nalalantad kahit saan.

Sa kasamaang-palad, hindi ito ang nangyayari sa aktwal—at may magagandang dahilan kung bakit.

Una, kailangan ng engineering para mag-host at magpanatili ng custom na modelo, na magastos. Kapag nagka-downtime ang hosted na modelo, apektado ang negosyo, kaya dapat matibay ang deployment.

Isa pang dahilan ay ang mga nangunguna sa industriya—tulad ng OpenAI, Google, at Anthropic—ay palaging naglalabas ng mas bago, mas magaling, at mas murang mga modelo na nagpapawalang-bisa sa anumang fine-tuning na ginawa. Ganito na mula nang lumabas ang ChatGPT 3.5 at mukhang magpapatuloy pa.

Kung ang gamit mo ay may napakasensitibong datos, makatuwirang gumamit ng modelo at i-optimize ito para sa iyong gamit. Kung mahalaga ang GDPR, maraming off-the-shelf na modelo na sumusunod sa GDPR.

Pagbuo matapos pumili ng iyong LLM

Kapag nakapili ka na ng LLM, maaari ka nang magsimulang magplano kung paano mo bubuuin at pamamahalaan ang iyong AI na proyekto. Halimbawa, gagamitin ko ang uri ng proyektong pinakakilala ko: isang AI agent o AI chatbot.

Maaari mong sagutin ang mga sumusunod na tanong para matukoy ang saklaw ng iyong proyekto:

• Saan ko gustong gamitin ang aking AI agent? (Slack, WhatsApp, widget sa website, atbp.)
• Anong kaalaman ang dapat mayroon ito, at saan matatagpuan ang kaalamang iyon?
• Anong mga kakayahan ang dapat mayroon ito bukod sa pagsagot ng kaalaman, kung meron man?
• Dapat ba itong gumana kapag may nangyari saanman sa negosyo?

Bawasan ang engineering para makatipid

Mahalaga ang pagtitipid sa badyet para maisakatuparan ang iyong proyekto. Isa sa mga paraan ay ang pagbawas ng oras ng engineering sa pamamagitan ng paghihiwalay ng mga kinakailangan.

Ngayon, may mga low-code na solusyon tulad ng Flutterflow, Shopify, na magagamit kahit ng mga hindi teknikal na tungkulin gaya ng mga Product Manager. Hindi naiiba ang mga chatbot, at may ilang AI automation platform na pinapayagan kang gumamit ng sarili mong LLM.

Maaaring iatas sa mga engineer na ituon ang kanilang oras sa pagho-host ng LLM at pag-set up gamit ang automation platform. Dahil dito, malaya ang mga business analyst, product manager, at iba pang kaugnay na tungkulin na bumuo ng AI agents na tumutugon sa pangangailangan ng negosyo.

Kapag may dagdag na kailangan, kadalasan may paraan ang mga platform na ito para makapaglagay ng code ang mga engineer. Sa ganitong paraan, napananatili mo ang benepisyo ng custom na modelo, at nakakamit mo ang kakayahang umangkop, bilis, at pagtitipid.

Bigyan ng kalayaan ang engineering para lutasin ang problema ng negosyo

Sa kabilang banda, may mga pagkakataon na talagang mahirap lutasin ang problema ng negosyo.

Tulad ng mga LLM application na walang koneksyon sa network, on-device na app, o mga proyektong nangangailangan ng napaka-advanced na kakayahan ng chatbot na higit pa sa simpleng pag-sync ng data sa dalawang platform.

Sa mga ganitong kaso, makatuwiran na bigyan ng kalayaan ang mga engineer na gamitin ang mga kasangkapang komportable sila. Karaniwan, ito ay simpleng pagsulat ng code, at ang mga stakeholder ay nagsisilbing project manager.

Mga estratehikong konsiderasyon sa pag-customize ng LLM

Ang pagpili ng custom na LLM para sa iyong AI na proyekto ay hindi lang basta pagpili ng pinakamahusay na modelo – ito ay tungkol sa paggawa ng mga estratehikong desisyon na nakaayon sa iyong mga layunin.

Nag-aalok ang custom na mga modelo ng flexibility, kontrol, at posibilidad na ma-optimize para sa partikular na gawain, ngunit may dagdag na komplikasyon din ito. Magsimula sa off-the-shelf na modelo, subukan ang prompt engineering, at dahan-dahang i-refine mula roon.

Tandaan, ang tamang modelo ay dapat akma sa pangangailangan ng negosyo mo, hindi lang sa teknolohiyang gamit mo.

Pagpapasadya gamit ang makapangyarihang mga plataporma

Handa ka na bang dalhin sa mas mataas na antas ang iyong AI na proyekto?

Ang Botpress ay isang ganap na napapalawak at nababagay na plataporma para sa AI agent. Pinapayagan ng aming stack ang mga developer na bumuo ng mga chatbot at AI agent para sa anumang posibleng gamit.

Mayroon kaming matibay na plataporma para sa pagkatuto, ang Botpress Academy, pati na rin ang detalyadong YouTube channel. Sa aming Discord, mahigit 20,000+ na bot builder ang aktibo, kaya laging may suporta kang makukuha.

Simulan ang paggawa ngayon. Libre ito.

FAQs

1. Paano ko susukatin ang ROI ng pag-invest sa custom na LLM para sa negosyo ko?

Para masukat ang ROI ng pag-invest sa custom na LLM para sa negosyo mo, ikumpara ang kabuuang gastos (halimbawa: infrastructure, oras ng developer, fine-tuning, at hosting) laban sa nasusukat na benepisyo tulad ng pagbawas ng trabaho at pagtaas ng conversion.

2. Anong mga KPI ang dapat kong subaybayan para masukat ang bisa ng custom na LLM?

Dapat mong subaybayan ang mga KPI tulad ng response accuracy (precision/recall o task completion), latency (average response time), kasiyahan ng user (CSAT/NPS), containment o resolution rate, at cost per interaction. Ang mga metric na ito ay sumasalamin sa teknikal na performance ng modelo at epekto nito sa negosyo.

3. Paano ko matutukoy ang pangmatagalang gastos sa maintenance ng custom na LLM solution?

Para matukoy ang pangmatagalang gastos sa maintenance ng custom na LLM solution, isama ang gastos sa infrastructure (cloud compute, storage), engineering updates, dalas ng retraining o fine-tuning, monitoring tools, at pag-angkop sa mga pagbabago sa regulasyon. Kung mabilis magbago ang business data mo, asahan ang mas mataas na retraining at validation sa paglipas ng panahon.

4. Paano ko maibabangga ang iba't ibang LLM para sa partikular kong industriya o larangan?

I-benchmark ang iba't ibang LLM sa pamamagitan ng pagsubok gamit ang mga prompt na kumakatawan sa iyong larangan at ikumpara ang performance sa accuracy, linaw, tono, at kaugnayan sa gawain. Maaari kang gumamit ng internal na dataset o open-source na industry benchmark tulad ng FinancialQA o MedQA depende sa iyong sektor.

5. Anong mga compliance standard ang dapat sundin ng custom na LLM kung humahawak ako ng user data?

Kung humahawak ka ng user data, dapat sumunod ang iyong custom na LLM sa mga standard tulad ng GDPR (para sa privacy ng data sa EU), SOC 2 Type II (para sa seguridad ng operasyon), at HIPAA (kung humahawak ng healthcare data). Dapat mag-alok ang LLM provider ng mga tampok tulad ng role-based access, data encryption habang ipinapadala at nakaimbak, audit logging, at malinaw na polisiya para sa data retention at deletion.