Các mô hình chạy trên thiết bị đã vượt qua một ngưỡng thực dụng. Chúng có thể phân loại ý định, trích xuất trường dữ liệu, viết lại đoạn văn ngắn và điều phối công cụ đơn giản mà không cần chờ một vòng giao tiếp mạng. Điều đó làm thay đổi kiến trúc, không chỉ độ trễ.
Ưu tiên cục bộ, lên đám mây khi cần
Một sản phẩm AI bền vững có thể chuyển công việc riêng tư, thường xuyên và nhạy cảm với độ trễ sang mô hình nhỏ chạy cục bộ. Những tác vụ tổng hợp phức tạp hoặc cần kiến thức mới vẫn phù hợp với đám mây. Ranh giới này cần rõ ràng, đo lường được và hiển thị cho người dùng.
Tác vụ biên tốt nhất là tác vụ càng có giá trị hơn khi mạng biến mất.
Những chỉ số đội ngũ nên đo
Hãy theo dõi đồng thời tỷ lệ hoàn thành tác vụ, năng lượng sử dụng, độ trễ token đầu tiên và tỷ lệ fallback. Một mô hình siêu nhỏ nhưng thất bại âm thầm không hề rẻ hơn. Mô hình lớn hơn một chút với cơ chế định tuyến dễ dự đoán thường tạo ra hệ thống tốt hơn.