Tối ưu hóa suy luận MoE trên GPU NVIDIA Hopper bằng kỹ thuật kernel
Các kỹ sư AWS chi tiết ba tối ưu hóa kernel cho các mô hình Mixture-of-Experts trên GPU Hopper, cải thiện thông lượng lên 10% và giảm độ trễ xuống 9%.
RAG, đánh giá mô hình, suy luận, tinh chỉnh và đưa tính năng LLM vào production.
Các kỹ sư AWS chi tiết ba tối ưu hóa kernel cho các mô hình Mixture-of-Experts trên GPU Hopper, cải thiện thông lượng lên 10% và giảm độ trễ xuống 9%.
Suy luận bằng phương pháp giải mã suy đoán (speculative decoding) cho phép các mô hình ngôn ngữ lớn xác minh nhiều dự đoán token trong một lần chạy thuận (forward pass), giảm độ trễ do giới hạn bộ nhớ mà không làm thay đổi phân phối đầu ra.
Các kỹ sư của Meta đã xây dựng một hệ thống khai thác năng lực suy luận (inference) bị phân mảnh và nhàn rỗi để xếp hạng nhiều quảng cáo hơn và phục vụ các mô hình tốt hơn mà không ảnh hưởng đến độ trễ cơ bản.
Các nhà nghiên cứu từ NVIDIA và Princeton giới thiệu ReplaySSM, một kỹ thuật giúp tăng tốc độ giải mã của Mô hình Không gian Trạng thái (State Space Model) bằng cách giảm lưu lượng bộ nhớ và đơn giản hóa việc hoàn tác suy đoán.
Các nhà toán học đang sử dụng Lean theorem prover để xác minh các chứng minh phức tạp. Vào năm 2026, autoformalization do AI điều khiển đã biến việc phiên chép thủ công thành một hiện thực khả thi.
Các nhà nghiên cứu chỉ ra rằng mô hình byte không cần tokenizer vượt trội hơn mô hình subword khi mở rộng quy mô nhờ tự học cấu trúc văn bản cục bộ, giúp tăng tốc giải mã suy đoán (speculative decoding).
Grok Bot của SpaceX hiện chọn mô hình backend tốt nhất cho từng tác vụ, phản ánh xu hướng chung trong ngành khi các doanh nghiệp sử dụng mô hình giá rẻ cho khối lượng lớn và mô hình đắt đỏ cho công việc phức tạp.
Các nhà nghiên cứu của Apple giới thiệu Mô hình Quỹ đạo Chuẩn hóa (Normalizing Trajectory Models) để đạt được chất lượng tạo ảnh cao chỉ trong bốn bước, đồng thời vẫn giữ nguyên khả năng huấn luyện với likelihood chính xác.
Scale AI đã cắt giảm 89 tác vụ khỏi bộ chuẩn mã hóa công khai và khóa môi trường đánh giá sau khi các cuộc kiểm toán phát hiện hành vi hack phần thưởng và rò rỉ giải pháp.
Các AI agent tạo ra lưu lượng truy cập bùng nổ và có trạng thái, làm hỏng các API đơn khối (monolithic). Các kỹ sư có thể khắc phục điều này bằng cách tách biệt phần tính toán khỏi dữ liệu thông qua các vách ngăn (bulkheads) và cơ sở dữ liệu dùng chung.
Anthropic launched Claude Haiku 5.5, matching OpenAI's GPT-6 Luna pricing for short contexts but introducing a less efficient tokenizer and higher costs for long inputs.
OpenAI released the Decisions API in public beta, offering typed answers like probabilities and choices from images or text using the gpt-6-luna model.
Burn 0.22 xóa các tham số kiểu backend khỏi API người dùng, giảm thời gian rebuild tới 15 lần và bổ sung hỗ trợ LoRA.
Google phát hành EmbeddingGemma 2, một mô hình mã nguồn mở nhẹ giúp thống nhất các embedding cho văn bản, code, âm thanh và video để truy xuất hiệu quả trên thiết bị.
Cloudflare đã ra mắt Clef, một mô hình 27 tỷ tham số được tối ưu hóa cho việc trích xuất tài liệu và định tuyến. Mô hình này xử lý văn bản và hình ảnh trong một lần chạy duy nhất thông qua Ollama.