Revolut cắt giảm chi phí lập trình AI bằng cách tự host các mô hình mở của Trung Quốc

Revolut đã chuyển đổi lực lượng kỹ sư phần mềm từ các trợ lý lập trình AI thương mại sang một mô hình mã nguồn mở tự host, đạt mức giảm chi phí được báo cáo là 90%. Gã khổng lồ fintech này hiện đang vận hành GLM, do phòng thí nghiệm Trung Quốc Z.ai phát triển, trên hạ tầng riêng cho khoảng 2.000 kỹ sư. Sự thay đổi chiến lược này được David Abitbol, người phụ trách hoạt động AI tại Revolut, chia sẻ chi tiết trong bài thuyết trình tại hội nghị AI Engineer ở New York.

Chuyện gì đã xảy ra

Việc chuyển sang GLM là bước đi mới nhất trong cách tiếp cận lặp lại của Revolut nhằm tích hợp AI vào quy trình phát triển. Ban đầu, công ty triển khai Google Gemini cho các nhóm kỹ thuật, dẫn đến việc giảm 20% thời gian viết code và giảm 10% thời gian hoàn thành (lead time). Thời gian hoàn thành đề cập đến khoảng thời gian từ khi nhận nhiệm vụ cho đến khi nó được hợp nhất vào cơ sở dữ liệu mã nguồn. Sau đó, Revolut thử nghiệm Claude Code của Anthropic, nhưng các giới hạn ngân sách nghiêm ngặt theo từng kỹ sư đã làm giảm hiệu quả sử dụng. Mặc dù công cụ này mang lại lợi ích, chi phí cao và các hạn chế về mức sử dụng khiến tác động tổng thể vẫn còn khiêm tốn.

Kể từ mùa xuân năm 2026, Revolut đã vận hành GLM trên hạ tầng nội bộ, mang lại kết quả khác biệt rõ rệt. Trong một nhóm mẫu gồm khoảng 2.000 kỹ sư, thời gian viết code giảm 60%, trong khi thời gian hoàn thành giảm 70%. Abitbol lưu ý rằng sự sụt giảm không cân xứng của thời gian hoàn thành cho thấy bản thân việc viết code không phải là nút thắt chính. Các kỹ sư dành nhiều thời gian để tìm kiếm trong hộp thư, vé Jira và trang Confluence. Bằng cách loại bỏ giới hạn token, Revolut cho phép các kỹ sư sử dụng AI thoải mái cho các tác vụ tìm kiếm và tổng hợp thông tin mà không cần phải tiết kiệm mức sử dụng vào cuối mỗi quý tài chính.

Cách thức hoạt động

Revolut chạy mô hình GLM, chứa khoảng 800 tỷ tham số, trên một cụm gồm khoảng 56 đơn vị xử lý đồ họa Nvidia B200. Cấu hình này tạo ra các token với chi phí khoảng 30 xu cho mỗi triệu token, thay thế hóa đơn hàng tháng khó đoán trước bằng một chi phí vận hành cố định. Tuy nhiên, hiệu suất ban đầu khi vừa cài đặt khá kém. Thông qua quá trình tối ưu hóa nghiêm ngặt, đội ngũ đã giảm thời gian phản hồi token đầu tiên từ hơn 10 giây xuống còn 1,6 giây, ngay cả khi nhu cầu tăng 76%. Abitbol nhấn mạnh rằng độ trễ trên 5 giây sẽ gây ra những phàn nàn ngay lập tức từ người dùng.

Hệ thống áp dụng các ràng buộc cụ thể để duy trì hiệu quả và tuân thủ quy định. Cửa sổ ngữ cảnh bị giới hạn ở mức 256.000 token, một quyết định được Abitbol bảo vệ bằng cách khẳng định rằng khả năng ngữ cảnh dài quá mức thường không cần thiết cho các tác vụ lập trình. Vì GLM chỉ xử lý văn bản, một bộ định tuyến (router) sẽ chuyển hướng các tác vụ liên quan đến hình ảnh sang Google Gemini. Mặc dù Claude Code và Codex của OpenAI vẫn có sẵn cho các trường hợp ngoại lệ, chúng không còn là công cụ mặc định. Cách tiếp cận lai này đảm bảo rằng mô hình phù hợp nhất được sử dụng cho từng loại yêu cầu cụ thể.

Chi tiết chính

• Revolut báo cáo mức giảm 90% chi phí lập trình AI so với khoản chi tiêu trước đây cho dịch vụ của Anthropic và OpenAI.
• Hạ tầng dựa vào khoảng 56 chip Nvidia B200 để phục vụ 2.000 kỹ sư.
• Thời gian viết code giảm 60% và thời gian hoàn thành của kỹ sư giảm 70% sau khi chuyển sang GLM.
• Dữ liệu được xử lý độc quyền tại các khu vực pháp lý có luật bảo vệ dữ liệu tương đương, bao gồm Mỹ, EU, Anh và Israel.
• Trọng số mô hình là mã nguồn mở, nhưng suy luận (inference) chạy trên máy chủ phương Tây để tránh sử dụng điểm cuối (endpoint) của Trung Quốc.
• Chi phí token trung bình 30 xu cho mỗi triệu, với thời gian phản hồi token đầu tiên được tối ưu hóa xuống còn 1,6 giây.

Tại sao điều này quan trọng

Đối với các nhà lãnh đạo kỹ thuật, nghiên cứu tình huống này làm nổi bật lợi thế kinh tế tiềm năng của việc tự host các mô hình mã nguồn mở so với việc phụ thuộc vào API độc quyền. Việc loại bỏ giới hạn token thay đổi cách các kỹ sư tương tác với công cụ AI, khuyến khích sử dụng rộng rãi hơn cho các tác vụ phi lập trình như truy xuất thông tin. Sự thay đổi này gợi ý rằng giá trị của AI trong phát triển phần mềm vượt ra ngoài việc tạo mã, bao gồm cả việc đẩy nhanh quy trình làm việc. Các công ty có thể quản lý phức tạp hạ tầng có thể tìm thấy khoản tiết kiệm chi phí và lợi ích năng suất đáng kể mà các nhà cung cấp mã nguồn đóng không thể sánh kịp do cấu trúc giá của họ.

Tuy nhiên, cách tiếp cận này đòi hỏi đầu tư ban đầu lớn và chuyên môn đặc thù. Chi phí phần cứng cho 56 chip B200 có thể dao động từ 1,7 triệu USD đến 3,5 triệu USD, tùy thuộc vào việc mua hay thuê các đơn vị này. Ngoài ra, chu kỳ phát hành nhanh chóng của các kiến trúc GPU mới có nghĩa là những tài sản này có thể mất giá nhanh chóng. Các đội nhỏ hơn không có nhân viên chuyên trách về hạ tầng AI có thể gặp khó khăn trong việc tái tạo kết quả này, vì khoản tiết kiệm chưa bao gồm chi phí đám mây, nhân sự và giám sát. Thành công của mô hình này phụ thuộc rất nhiều vào việc tinh chỉnh liên tục và các giao thức quản trị nghiêm ngặt.

Bạn có thể làm gì

• Đánh giá tổng chi phí sở hữu (TCO) giữa việc tự host và sử dụng API, bao gồm phần cứng, điện năng và thời gian kỹ thuật.
• Áp dụng ngân sách độ trễ nghiêm ngặt, nhắm mục tiêu thời gian phản hồi dưới hai giây để duy trì mức độ chấp nhận của nhà phát triển.
• Sử dụng bộ định tuyến để chuyển hướng các loại tác vụ cụ thể, chẳng hạn như xử lý hình ảnh, sang các mô hình chuyên biệt trong khi giữ các tác vụ văn bản trên các mô hình mã nguồn mở rẻ hơn.
• Giới hạn cửa sổ ngữ cảnh để ngăn chặn việc tiêu thụ tài nguyên không cần thiết và giảm chi phí suy luận.
• Đảm bảo tuân thủ quy định về cư trú dữ liệu bằng cách chạy các mô hình mã nguồn mở trên hạ tầng nằm trong các khu vực pháp lý được phê duyệt.
• Duy trì các biện pháp bảo vệ con người trong vòng lặp (human-in-the-loop) và môi trường sandbox để đáp ứng các yêu cầu pháp lý đối với các tác nhân tự động.