Một mô hình mới có đáng để bạn đổi stack?

Bảng xếp hạng chưa phải quyết định sản phẩm

Một mô hình có thể tốt hơn trên benchmark nhưng không tạo ra khác biệt với tác vụ của bạn. Chất lượng tiếng Việt, khả năng tuân thủ định dạng, độ trễ đuôi dài và tỷ lệ lỗi API đều có thể ảnh hưởng trực tiếp tới trải nghiệm.

Viết tiêu chí trước khi gọi API

Chuẩn bị một tập tác vụ có đại diện cho đầu vào thông thường, đầu vào khó và đầu vào không hợp lệ. Với mỗi tác vụ, ghi điều gì là đúng, điều gì là không chấp nhận được và khi nào cần từ chối trả lời.

Một tập 30 tác vụ có thể giúp tìm lỗi rõ ràng ở giai đoạn đầu; đó không phải kích thước mẫu đủ cho kết luận thống kê. Giữ lại một tập kiểm tra chưa dùng để chỉnh prompt.

So sánh cả hệ thống

Đo thời gian đến phản hồi đầu tiên, thời gian hoàn tất, số token đầu vào và đầu ra, tỷ lệ retry và chi phí tính theo bảng giá đang áp dụng. Nếu nhà cung cấp có cache, kiểm tra riêng trường hợp cache nóng và cache lạnh.

Đừng so một mô hình với prompt được tối ưu lâu ngày và mô hình khác chỉ với prompt mặc định. Ghi phiên bản prompt, model ID và tham số trong mỗi lần chạy.

Chuyển đổi có đường lùi

Đặt model sau một lớp adapter. Chạy một phần lưu lượng thử nghiệm có kiểm soát, theo dõi lỗi và giữ khả năng quay lại phiên bản cũ. Không gửi cùng dữ liệu người dùng tới nhà cung cấp mới trước khi xem xét chính sách dữ liệu của sản phẩm.

Việc làm tiếp theo

Chọn một tác vụ quan trọng nhất. Định nghĩa ba tiêu chí chấm, thu thập các ví dụ được phép sử dụng và chạy thử hai cấu hình. Quyết định bằng kết quả tác vụ, không bằng tên model.