Khi thêm bước AI vào luồng, hầu hết các nền tảng kéo thả cho bạn chọn mô hình từ một danh sách, thường gồm vài bản của cùng một nhà cung cấp: bản nhỏ chạy nhanh, bản lớn suy luận kỹ hơn, đôi khi có bản chuyên đọc hình ảnh. Nhiều người chọn bản mạnh nhất cho chắc, hoặc bản rẻ nhất cho tiết kiệm, rồi không bao giờ xem lại.
Bài này đưa ra cách chọn có căn cứ: việc nào cần bản lớn, việc nào bản nhỏ làm tốt ngang mà nhanh và rẻ hơn, cách so hai mô hình bằng bộ thử trên chính dữ liệu của bạn, và những yếu tố ngoài chất lượng như tốc độ, chi phí theo lượt, nơi dữ liệu đi qua. Bài nói theo nguyên lý; tên và khả năng của từng mô hình thay đổi nhanh, khi chọn thật hãy đọc tài liệu hiện hành của nhà cung cấp.
Vì sao không nên dùng một mô hình cho mọi bước
Một luồng có thể có ba bước AI làm ba việc rất khác nhau: nhận diện ngôn ngữ của tin nhắn, phân loại tin vào năm nhãn, soạn nháp trả lời theo quy định của cửa hàng. Bước đầu là việc rất đơn giản; bước thứ hai cần hiểu ý; bước thứ ba cần viết mạch lạc, theo đúng giọng và không bịa. Dùng bản lớn nhất cho cả ba là trả giá cao cho bước đầu mà không được gì thêm.
Ngược lại, dùng bản nhỏ nhất cho cả ba có thể làm bước soạn nháp kém tới mức người duyệt phải viết lại gần hết, và lúc đó chi phí thật nằm ở giờ công của người, không phải ở lượt chạy. Chọn theo từng bước giúp đặt tiền và thời gian vào đúng chỗ cần.
Thêm một lý do ít được nghĩ tới: tốc độ. Bản lớn thường chậm hơn. Với luồng chạy ngầm ban đêm thì vài giây không quan trọng, nhưng với luồng phản hồi khách đang chờ trên kênh nhắn tin, mỗi bước chậm cộng dồn lại thành khoảng chờ khách cảm nhận được.
Gợi ý chọn theo kiểu việc
Bảng dưới là điểm xuất phát, không phải kết luận. Kết luận phải đến từ bộ thử trên dữ liệu của bạn.
| Kiểu việc | Điểm xuất phát hợp lý | Khi nào cân nhắc đổi |
|---|---|---|
| Nhận diện ngôn ngữ, phát hiện thư trống | Bản nhỏ, hoặc không cần AI nếu nền tảng có bước sẵn | Hiếm khi cần đổi |
| Phân loại vào vài nhãn rõ ràng | Bản nhỏ | Lên bản lớn hơn nếu nhãn tinh tế, thư dài, nhiều cặp nhãn hay nhầm |
| Trích trường từ chữ có cấu trúc lỏng | Bản nhỏ hoặc vừa | Lên bản lớn nếu tài liệu dài, nhiều bảng, nhiều ngoại lệ |
| Đọc ảnh chụp, bản quét | Bản có khả năng đọc hình ảnh | So độ chính xác trên ảnh mờ, ảnh nghiêng thật của bạn |
| Tóm tắt theo khuôn | Bản vừa | Lên bản lớn nếu hay bỏ sót ý quan trọng ở văn bản dài |
| Soạn nháp gửi khách, cần đúng giọng và quy định | Bản lớn hoặc vừa | Xuống bản nhỏ cho nhóm câu hỏi lặp lại đơn giản |
Một mẹo hay dùng: tách nhóm việc khó và dễ bằng một bước phân loại rẻ, rồi chỉ gửi nhóm khó cho bản lớn. Ví dụ thư hỏi giờ mở cửa đi bản nhỏ, thư khiếu nại dài đi bản lớn. Cách chia này thường cho chất lượng gần như dùng bản lớn cho tất cả, với chi phí thấp hơn nhiều.
So hai mô hình bằng bộ thử thay vì cảm giác
Thử tay vài lượt rồi thấy "bản này có vẻ tốt hơn" là cách chọn dễ sai nhất. Dưới đây là quy trình gọn, làm trong một buổi.
- Lấy từ nhật ký ba mươi đến năm mươi đầu vào đã che dữ liệu, có đủ trường hợp dễ, khó, kỳ quặc. Ghi kết quả đúng cho từng đầu vào.
- Tạo bản sao của luồng, tắt mọi hành động gửi ra ngoài, chỉ giữ bước AI và bước ghi kết quả vào bảng.
- Chạy bộ thử với mô hình A, rồi đổi sang mô hình B, giữ nguyên câu lệnh. Ghi kết quả của cả hai cạnh kết quả đúng.
- Đếm số lượt đúng, số lượt sai khuôn, và đọc kỹ các lượt sai: sai kiểu nào, có nguy hiểm không.
- Ghi thời gian chạy trung bình mỗi lượt nếu nền tảng hiển thị, và ước chi phí theo bảng phí hiện hành.
- Chọn mô hình nhỏ nhất đạt được chất lượng bạn cần ở các trường hợp quan trọng, không phải mô hình có tổng điểm cao nhất.
Chú ý bước 4: hai mô hình có cùng số lượt sai chưa chắc ngang nhau. Một bản sai ở thư hỏi hàng, một bản sai ở thư khiếu nại là hai mức rủi ro khác hẳn. Đọc từng lượt sai quan trọng hơn so tổng điểm. Giữ lại bộ thử này cho những lần so sánh sau, bổ sung dần bằng các lượt khó mới gặp trong nhật ký.
Những yếu tố ngoài chất lượng câu trả lời
Chi phí theo lượt. Tính theo lượng chữ đưa vào cộng lượng chữ trả ra, nhân với số lượt mỗi ngày, cộng phí lượt chạy của nền tảng kết nối. Ví dụ giả định: một bước phân loại chạy vài trăm lượt mỗi ngày với câu lệnh dài, chuyển từ bản lớn sang bản nhỏ có thể giảm phần chi phí AI xuống nhiều lần mà không mất độ chính xác. Con số cụ thể tuỳ bảng phí hiện hành.
Độ dài đầu vào tối đa. Mỗi mô hình có giới hạn lượng chữ đọc được trong một lượt. Bước tóm tắt chuỗi thư dài hay đọc tài liệu nhiều trang cần kiểm giới hạn này; vượt quá thì luồng lỗi hoặc mô hình chỉ đọc một phần mà không báo.
Nơi dữ liệu đi qua. Mô hình gọi qua nền tảng kết nối có thể đi qua máy chủ của nền tảng rồi mới tới nhà cung cấp mô hình, mỗi bên một bộ điều khoản dữ liệu. Với dữ liệu khách, đọc cả hai, kiểm tuỳ chọn không dùng dữ liệu để huấn luyện, và cân nhắc dùng khoá API của chính công ty với nhà cung cấp mô hình để kiểm soát rõ hơn.
Độ ổn định khi nhà cung cấp cập nhật. Nhà cung cấp định kỳ thay phiên bản mô hình hoặc ngừng bản cũ. Nếu nền tảng cho chọn phiên bản cụ thể thay vì "bản mới nhất", việc ghim phiên bản giúp luồng ổn định hơn; đổi phiên bản thì chạy lại bộ thử.
Hỗ trợ đầu ra có cấu trúc. Không phải mô hình nào, qua nền tảng nào, cũng hỗ trợ khai trước khuôn đầu ra. Với bước trích thông tin, tính năng này đáng giá hơn một chút chênh lệch về chất lượng.
Đôi khi câu trả lời đúng là không dùng mô hình nào
Trước khi so bản nhỏ với bản lớn, hãy hỏi bước này có cần AI không. Nhiều luồng có bước AI làm việc mà quy tắc thông thường làm được: lọc thư theo địa chỉ người gửi, nhận ra tin nhắn chỉ có một chữ "ok", đổi định dạng ngày, tra mã hàng trong danh mục. Những bước như vậy chạy bằng khối lọc hoặc khối tra bảng của nền tảng thì không tốn phí AI, không có độ ngẫu nhiên, và không bao giờ trả sai khuôn.
Một cách nhận biết: nếu bạn viết được quy tắc đầy đủ cho việc đó bằng vài dòng "nếu… thì…" mà không phải liệt kê vô số cách nói của khách, thì việc đó không cần AI. AI đáng tiền ở chỗ phải hiểu chữ tự do; đặt nó vào chỗ quy tắc làm được là trả giá cho sự không chắc chắn mà không được gì.
Ngược lại, có bước ban đầu dùng quy tắc, sau thấy danh sách ngoại lệ phình mãi, khi đó chuyển sang AI là hợp lý. Ghi lại lý do chuyển vào tài liệu của luồng để người sau không chuyển ngược lại vì tưởng quy tắc rẻ hơn.
Khi nào nên dừng tối ưu
Chọn mô hình là việc dễ sa đà: thử thêm bản này, so thêm bản kia, mỗi tuần một lần. Với doanh nghiệp nhỏ, quy tắc gọn là: khi bước AI đã đạt chất lượng đủ dùng ở các trường hợp quan trọng, chi phí hằng tháng nằm trong mức chấp nhận được, và không có lượt sai nguy hiểm nào trong bộ thử, thì dừng. Thời gian còn lại dành cho những luồng chưa có.
Chỉ quay lại bài toán chọn mô hình khi có lý do cụ thể: nhà cung cấp ngừng bản đang dùng, số lượt tăng mạnh làm chi phí vượt mức, nhật ký cho thấy tỉ lệ lỗi tăng, hoặc luồng nhận thêm loại việc mới khó hơn. Lúc đó bộ thử đã có sẵn, việc so sánh chỉ mất một buổi.
Ghi lựa chọn vào tài liệu của luồng: bước nào dùng mô hình nào, phiên bản nào, ngày chọn, kết quả bộ thử lúc chọn. Người tiếp quản đọc vào sẽ hiểu vì sao bước phân loại dùng bản nhỏ mà bước soạn nháp dùng bản lớn, thay vì "dọn cho đồng bộ" và vô tình làm hỏng một bên.
Ví dụ giả định: xưởng rang cà phê bán online
Ví dụ giả định: một xưởng rang cà phê ở Lâm Đồng có luồng xử lý tin nhắn khách gồm ba bước AI. Ban đầu cả ba dùng bản lớn nhất trong danh sách của nền tảng. Khi số đơn tăng vào mùa cuối năm, chủ xưởng thấy phần chi phí AI tăng theo và tin trả lời trên kênh nhắn tin chậm hơn hẳn.
Chủ xưởng lấy bốn mươi tin cũ đã che tên làm bộ thử, so bản nhỏ với bản lớn cho từng bước. Bước nhận diện ngôn ngữ và bước phân loại năm nhãn cho kết quả gần như nhau, nên chuyển sang bản nhỏ. Bước soạn nháp với bản nhỏ hay quên dặn khách về cách bảo quản hạt sau khi mở túi, một điều có trong tờ quy định; bước này giữ bản lớn. Luồng sau khi đổi trả lời nhanh hơn, chi phí AI giảm rõ, và người duyệt nháp không thấy khác biệt về chất lượng.
Câu hỏi thường gặp
Có nên luôn chọn mô hình AI mạnh nhất cho chắc?
Không cần. Nhiều bước như nhận diện ngôn ngữ hay phân loại vài nhãn rõ ràng, bản nhỏ làm tốt ngang mà nhanh và rẻ hơn. Dành bản lớn cho bước khó như soạn nháp gửi khách hay tóm tắt văn bản dài, và quyết định bằng bộ thử trên dữ liệu của bạn.
Làm sao so sánh hai mô hình cho công bằng?
Dùng cùng một bộ thử vài chục đầu vào đã biết kết quả đúng, giữ nguyên câu lệnh, chỉ đổi mô hình. Đếm số lượt đúng, số lượt sai khuôn, và đọc kỹ từng lượt sai để xem sai ở trường hợp nào, có nguy hiểm không.
Chi phí bước AI trong luồng được tính thế nào?
Thường theo lượng chữ đưa vào và trả ra của mỗi lượt, nhân với số lượt, cộng phí lượt chạy của nền tảng kết nối. Câu lệnh dài và ví dụ nhiều cũng tính vào lượng chữ đưa vào. Kiểm bảng phí hiện hành của cả nhà cung cấp mô hình và nền tảng.
Nhà cung cấp đổi phiên bản mô hình thì luồng có bị ảnh hưởng không?
Có thể. Phiên bản mới có thể hiểu khuôn đầu ra hơi khác hoặc trả lời theo kiểu khác. Nếu nền tảng cho ghim phiên bản cụ thể thì nên ghim, và mỗi khi đổi phiên bản hãy chạy lại bộ thử trước khi dùng cho luồng thật.
Dữ liệu khách đi qua những đâu khi luồng gọi AI?
Thường đi qua máy chủ của nền tảng kết nối rồi tới nhà cung cấp mô hình, mỗi bên có điều khoản dữ liệu riêng. Che dữ liệu trước bước AI, đọc điều khoản cả hai bên, và cân nhắc dùng khoá API của công ty để kiểm soát rõ hơn.
Khi nào cần xem lại lựa chọn mô hình?
Khi nhà cung cấp ngừng bản đang dùng, số lượt tăng làm chi phí vượt mức chấp nhận, nhật ký cho thấy lỗi tăng, hoặc luồng nhận thêm việc khó hơn. Ngoài các lý do đó, nếu chất lượng đã đủ dùng thì không cần tối ưu thêm.