Cách chọn LLM tùy chỉnh cho dự án AI của bạn

LLM đang thay đổi cách chúng ta xây dựng giải pháp AI. Các mô hình có sẵn mới và tốt hơn liên tục được ra mắt.

Một câu hỏi tôi thường nhận được là tại sao nên chọn LLM tùy chỉnh thay vì giải pháp có sẵn?

Nếu bạn đang thực hiện một dự án AI, như xây dựng AI agent hoặc chatbot AI, bạn có thể cân nhắc sử dụng mô hình ngôn ngữ lớn (LLM) được tùy chỉnh.

Có rất nhiều lý do để sử dụng LLM tùy chỉnh cho LLM agent của bạn, và có nhiều lựa chọn cho bạn. Trong bài viết này, tôi sẽ hướng dẫn các cách khác nhau để tùy chỉnh LLM cho dự án AI.

Tại sao nên sử dụng LLM tùy chỉnh?

Có một số lý do để sử dụng LLM tùy chỉnh:

• Bạn muốn giảm chi phí bằng cách tập trung vào một nhiệm vụ quan trọng cho doanh nghiệp, hoặc giảm độ trễ.
• Bạn có thể muốn giữ toàn bộ dữ liệu ở chế độ riêng tư, hoặc sử dụng LLM nội bộ của công ty.
• Bạn có thể muốn nâng cao chất lượng câu trả lời cho một nhiệm vụ cụ thể.

Dù lý do là gì, việc tùy chỉnh LLM cho phép bạn tối ưu hiệu suất, cân bằng giữa độ chính xác, tốc độ và chi phí để phù hợp với nhu cầu doanh nghiệp.

Chọn LLM

LLM có hai yếu tố ảnh hưởng đến dự án AI: kích thước (số lượng tham số) và chất lượng phản hồi.

Bạn có thể hình dung tham số giống như các nơ-ron trong não bộ. Não lớn thường thông minh hơn, nhưng không phải lúc nào cũng vậy. Một số phần của não có thể được tối ưu hóa cao cho các nhiệm vụ cụ thể như thị giác.

Với dự án AI, kích thước thường ảnh hưởng đến tốc độ phản hồi và ảnh hưởng lớn đến chi phí. Các dự án cần độ trễ thấp thường dùng mô hình nhỏ hơn, nhưng phải đánh đổi về chất lượng phản hồi.

Những câu hỏi cần đặt ra khi chọn mô hình

Dưới đây là danh sách các câu hỏi bạn nên trả lời khi chọn mô hình:

• Tôi có thể sử dụng LLM trên nền tảng đám mây hay cần tự triển khai?
• Tôi cần phản hồi nhanh đến mức nào?
• Tôi cần phản hồi chính xác đến mức nào?
• Dự án của tôi sẽ tiết kiệm hoặc tạo ra bao nhiêu tiền? Vậy mức giá nào thì dự án nên nằm dưới mức đó?
• Tôi cần câu trả lời dài đến đâu?

Nói chung, rất khó để tăng tốc hoặc giảm chi phí cho một mô hình mạnh, và dễ hơn để cải thiện một mô hình kém chính xác.

Tuy nhiên, bắt đầu với một mô hình mạnh sẽ nhanh hơn, và nếu nó đáp ứng được nhu cầu dự án, bạn sẽ không cần nhiều công sức kỹ thuật (và cũng dễ bảo trì hơn).

Chọn giữa RAG, Fine-Tuning, N-Shot Learning và Prompt Engineering

Có năm khái niệm chung giúp nâng cao chất lượng phản hồi của LLM:

1. Bắt đầu từ mô hình đã huấn luyện sẵn
2. RAG
3. Fine-tuning
4. N-shot prompting
5. Prompt engineering

Những điều này không chỉ áp dụng cho mô hình tùy chỉnh, bạn nên cân nhắc chúng vì chúng hỗ trợ lẫn nhau.

Bắt đầu từ một mô hình

Việc đầu tiên bạn nên làm là chọn một mô hình khởi đầu. Có rất nhiều bảng xếp hạng trực tuyến so sánh các mô hình khác nhau.

Ví dụ:

• Hugging Face duy trì bảng xếp hạng cho các mô hình mã nguồn mở.
• Vellum có một bảng xếp hạng xuất sắc cho các mô hình phổ biến hơn.

Nếu công ty bạn có mô hình nội bộ, hãy cân nhắc sử dụng nó để phù hợp với ngân sách và giữ dữ liệu riêng tư. Nếu bạn cần tự triển khai mô hình, hãy cân nhắc một mô hình mã nguồn mở.

Tinh chỉnh

Fine-tuning là cung cấp ví dụ cho mô hình để nó học cách thực hiện tốt một nhiệm vụ nhất định. Nếu bạn muốn nó nói về sản phẩm của mình thật tốt, bạn có thể cung cấp nhiều ví dụ về các cuộc gọi bán hàng thành công của công ty.

Nếu mô hình là mã nguồn mở, hãy tự hỏi liệu đội ngũ kỹ thuật của bạn có đủ khả năng để fine-tune một mô hình không.

Nếu mô hình là mã đóng và cung cấp dưới dạng dịch vụ – như GPT-4 hoặc Claude – thì thường kỹ sư của bạn có thể fine-tune mô hình tùy chỉnh qua API. Tuy nhiên, chi phí sẽ tăng đáng kể, nhưng gần như không cần bảo trì.

Nhưng với nhiều trường hợp, fine-tuning không phải là bước đầu tiên để tối ưu hóa mô hình.

Một ví dụ điển hình cho fine-tuning là xây dựng chatbot kiến thức cho thông tin tĩnh. Bằng cách cung cấp ví dụ về câu hỏi và câu trả lời, mô hình sẽ có thể trả lời chúng trong tương lai mà không cần tra cứu lại. Tuy nhiên, đây không phải là giải pháp thực tế cho thông tin thời gian thực.

Tạo sinh tăng cường truy xuất (Retrieval-augmented generation)

RAG là tên gọi phức tạp cho một việc đơn giản mà ai cũng từng làm với ChatGPT: dán một đoạn văn bản vào ChatGPT và hỏi về nó.

Ví dụ điển hình là hỏi xem một sản phẩm còn hàng trên trang thương mại điện tử không, và chatbot sẽ tra cứu thông tin trong danh mục sản phẩm (thay vì trên toàn bộ Internet).

Về tốc độ phát triển và lấy thông tin thời gian thực, RAG là điều không thể thiếu.

Thông thường, RAG không ảnh hưởng đến việc chọn mô hình, nhưng bạn hoàn toàn có thể tạo một endpoint API LLM để truy vấn thông tin và trả lời, sử dụng endpoint này như một LLM riêng biệt.

Dùng RAG cho chatbot kiến thức thường dễ bảo trì hơn, vì bạn không cần fine-tune mô hình và cập nhật liên tục – điều này cũng giúp giảm chi phí.

N-shot learning

Cách nhanh nhất để cải thiện chất lượng phản hồi là cung cấp ví dụ ngay trong một lần gọi API LLM.

Zero-shot – không cung cấp ví dụ nào về câu trả lời mong muốn – là cách hầu hết chúng ta dùng ChatGPT. Thêm một ví dụ (one-shot) thường đủ để thấy chất lượng phản hồi cải thiện rõ rệt.

Nhiều hơn một ví dụ được gọi là n-shot. N-shot không thay đổi mô hình, khác với fine-tuning. Bạn chỉ đơn giản đưa ví dụ trước khi hỏi, mỗi lần đặt câu hỏi.

Nhưng không thể lạm dụng chiến lược này: LLM có giới hạn về kích thước ngữ cảnh và chi phí tính theo độ dài tin nhắn. Fine-tuning có thể loại bỏ nhu cầu dùng n-shot, nhưng mất nhiều thời gian để thực hiện đúng.

Các kỹ thuật prompt engineering khác

Có các kỹ thuật prompt engineering khác, như chain-of-thought, buộc mô hình phải suy nghĩ thành tiếng trước khi trả lời.

Cách này nâng cao chất lượng câu trả lời, nhưng đổi lại thời gian phản hồi dài hơn, chi phí cao hơn và tốc độ chậm hơn.

Khuyến nghị của tôi

Mỗi dự án sẽ có nhu cầu riêng, nhưng tôi xin chia sẻ một cách tiếp cận hiệu quả.

Một điểm khởi đầu tốt là sử dụng mô hình có sẵn cân bằng giữa tốc độ và chất lượng, như GPT-4o Mini. Hãy xem xét chất lượng phản hồi, tốc độ phản hồi, chi phí, nhu cầu về cửa sổ ngữ cảnh, rồi quyết định cần cải thiện gì từ đó.

Sau đó, với trường hợp sử dụng hẹp, bạn có thể thử prompt engineering đơn giản, tiếp theo là RAG, rồi đến fine-tuning. Mỗi mô hình trải qua các bước này đều sẽ cải thiện hiệu suất, nên việc lựa chọn cũng khá khó.

Lưu ý về quyền riêng tư

Trong một thế giới lý tưởng, mọi LLM đều hoàn toàn do bạn kiểm soát, không bị lộ ra ngoài.

Đáng tiếc, thực tế lại không như vậy – và có lý do chính đáng.

Lý do đầu tiên rất đơn giản: cần nhiều kỹ thuật để triển khai và duy trì mô hình tùy chỉnh, điều này rất tốn kém. Khi mô hình gặp sự cố, các chỉ số kinh doanh bị ảnh hưởng, nên việc triển khai phải thật ổn định.

Một lý do khác là các ông lớn trong ngành – như OpenAI, Google và Anthropic – liên tục ra mắt các mô hình mới mạnh hơn, rẻ hơn khiến mọi nỗ lực fine-tuning trở nên lỗi thời. Điều này đã diễn ra từ khi ChatGPT 3.5 ra mắt và chưa có dấu hiệu dừng lại.

Nếu trường hợp sử dụng của bạn liên quan đến dữ liệu cực kỳ nhạy cảm, việc dùng mô hình riêng và tối ưu hóa cho nhu cầu là hợp lý. Nếu bạn quan tâm đến GDPR, có rất nhiều mô hình có sẵn tuân thủ GDPR.

Xây dựng sau khi chọn LLM

Sau khi bạn đã chọn một LLM, bạn có thể bắt đầu xác định cách xây dựng và duy trì dự án AI của mình. Ví dụ, tôi sẽ lấy loại dự án mà tôi quen thuộc nhất: một tác nhân AI hoặc chatbot AI.

Bạn có thể trả lời các câu hỏi sau để xác định phạm vi dự án của mình:

• Tôi muốn tác nhân AI của mình hoạt động ở đâu? (Slack, WhatsApp, widget trên website, v.v.)
• Nó cần có kiến thức gì, và nguồn kiến thức đó ở đâu?
• Ngoài việc trả lời kiến thức, nó cần có thêm khả năng nào khác không?
• Nó có nên được kích hoạt khi có sự kiện nào đó xảy ra trong doanh nghiệp không?

Giảm tải kỹ thuật để tiết kiệm chi phí

Giữ ngân sách tối giản là yếu tố then chốt để biến dự án của bạn thành hiện thực. Một trong những cách làm điều đó là giảm thời gian kỹ thuật bằng cách tách biệt các yêu cầu.

Hiện nay, chúng ta có thể sử dụng các giải pháp low-code như Flutterflow, Shopify, phù hợp cho cả những vai trò không chuyên về kỹ thuật như Quản lý Sản phẩm. Chatbot cũng không ngoại lệ, và một số nền tảng tự động hóa AI còn cho phép bạn sử dụng LLM riêng.

Bạn có thể giao cho kỹ sư tập trung vào việc triển khai LLM và tích hợp với nền tảng tự động hóa. Nhờ vậy, các nhà phân tích kinh doanh, quản lý sản phẩm và các vai trò liên quan khác có thể xây dựng tác nhân AI đáp ứng yêu cầu doanh nghiệp.

Khi cần thêm chức năng, các nền tảng này thường cho phép kỹ sư bổ sung mã nguồn. Như vậy, bạn vừa giữ được lợi thế của mô hình tùy chỉnh, vừa có thêm sự linh hoạt, tốc độ và tiết kiệm chi phí.

Tạo điều kiện cho kỹ sư tự do giải quyết vấn đề doanh nghiệp

Tuy nhiên, đôi khi các vấn đề doanh nghiệp lại rất khó giải quyết.

Chúng ta đang nói đến các ứng dụng LLM hoàn toàn tách biệt mạng, ứng dụng chạy trên thiết bị, hoặc các dự án yêu cầu chatbot có khả năng rất nâng cao, vượt xa việc đồng bộ dữ liệu giữa hai nền tảng.

Trong những trường hợp đó, cho phép kỹ sư sử dụng bất kỳ công cụ nào họ thấy phù hợp là điều hợp lý. Thường thì họ sẽ trực tiếp viết mã, còn các bên liên quan chỉ đóng vai trò quản lý dự án.

Những cân nhắc chiến lược khi tùy chỉnh LLM

Việc chọn một LLM tùy chỉnh cho dự án AI không chỉ là chọn mô hình tốt nhất – mà còn là đưa ra quyết định chiến lược phù hợp với mục tiêu của bạn.

Mô hình tùy chỉnh mang lại sự linh hoạt, kiểm soát và khả năng tối ưu cho các tác vụ cụ thể, nhưng cũng đi kèm với sự phức tạp cao hơn. Hãy bắt đầu với mô hình có sẵn, thử nghiệm với kỹ thuật prompt, rồi dần dần tinh chỉnh.

Hãy nhớ rằng, mô hình phù hợp là mô hình đáp ứng nhu cầu kinh doanh, không chỉ là phù hợp với công nghệ bạn đang dùng.

Tùy chỉnh với các nền tảng mạnh mẽ

Bạn đã sẵn sàng nâng cấp dự án AI của mình chưa?

Botpress là nền tảng tác nhân AI hoàn toàn mở rộng và linh hoạt. Hệ thống của chúng tôi cho phép nhà phát triển xây dựng chatbot và tác nhân AI cho mọi trường hợp sử dụng.

Chúng tôi có nền tảng đào tạo mạnh mẽ, Botpress Academy, cùng kênh YouTube chi tiết. Discord của chúng tôi có hơn 20.000 người xây dựng bot, bạn luôn nhận được sự hỗ trợ cần thiết.

Bắt đầu xây dựng ngay hôm nay. Miễn phí.

Câu hỏi thường gặp

1. Làm thế nào để đánh giá ROI khi đầu tư vào một LLM tùy chỉnh cho doanh nghiệp?

Để đánh giá ROI khi đầu tư vào LLM tùy chỉnh cho doanh nghiệp, hãy so sánh tổng chi phí (ví dụ: hạ tầng, thời gian phát triển, tinh chỉnh, lưu trữ) với các lợi ích đo lường được như giảm chi phí lao động và tăng tỷ lệ chuyển đổi.

2. Tôi nên theo dõi những chỉ số nào để đo lường hiệu quả của LLM tùy chỉnh?

Bạn nên theo dõi các chỉ số như độ chính xác phản hồi (precision/recall hoặc tỷ lệ hoàn thành tác vụ), độ trễ (thời gian phản hồi trung bình), mức độ hài lòng của người dùng (CSAT/NPS), tỷ lệ xử lý thành công và chi phí cho mỗi tương tác. Những chỉ số này phản ánh hiệu suất kỹ thuật của mô hình và tác động đến kết quả kinh doanh.

3. Làm thế nào để ước tính chi phí bảo trì lâu dài cho giải pháp LLM tùy chỉnh?

Để ước tính chi phí bảo trì lâu dài cho giải pháp LLM tùy chỉnh, hãy bao gồm các khoản chi cho hạ tầng (tính toán đám mây, lưu trữ), cập nhật kỹ thuật, tần suất huấn luyện lại hoặc tinh chỉnh, công cụ giám sát và thích ứng với thay đổi quy định. Nếu dữ liệu doanh nghiệp của bạn thay đổi nhanh chóng, hãy dự kiến chi phí huấn luyện lại và xác thực sẽ tăng dần theo thời gian.

4. Làm sao để so sánh các LLM khác nhau cho ngành hoặc lĩnh vực của tôi?

So sánh các LLM bằng cách kiểm thử với các prompt đại diện, đặc thù cho lĩnh vực của bạn và so sánh hiệu suất về độ chính xác, rõ ràng, giọng điệu và mức độ phù hợp với nhiệm vụ. Bạn có thể sử dụng bộ dữ liệu nội bộ hoặc áp dụng các bộ chuẩn ngành mã nguồn mở như FinancialQA hoặc MedQA tùy theo lĩnh vực của bạn.

5. LLM tùy chỉnh cần đáp ứng tiêu chuẩn tuân thủ nào nếu tôi xử lý dữ liệu người dùng?

Nếu bạn xử lý dữ liệu người dùng, LLM tùy chỉnh cần đáp ứng các tiêu chuẩn như GDPR (bảo mật dữ liệu EU), SOC 2 Type II (an ninh vận hành), và HIPAA (nếu xử lý dữ liệu y tế). Nhà cung cấp LLM nên có các tính năng như phân quyền truy cập, mã hóa dữ liệu khi truyền và lưu trữ, ghi nhật ký kiểm tra, và chính sách rõ ràng về lưu trữ và xóa dữ liệu.