Google ra mắt trợ lý họp AI ngoại tuyến với các mô hình Gemma cục bộ

Google đã phát hành Google AI Edge Foresight, một ứng dụng Mac mới được thiết kế để cạnh tranh với các công cụ ghi chú AI như Granola. Được ra mắt bởi chính đội ngũ đứng sau một công cụ đọc văn bản thử nghiệm trước đó, ứng dụng này tận dụng các mô hình ngôn ngữ lớn cục bộ để hoạt động hoàn toàn mà không cần kết nối internet. Bản phát hành này đánh dấu một bước tiến quan trọng trong chiến lược của Google nhằm thể hiện khả năng của dòng mô hình Gemma cho trí tuệ nhân tạo trên thiết bị.

Điều gì đã xảy ra

Ứng dụng mới, Google AI Edge Foresight, được tối ưu hóa riêng cho phần cứng Apple Silicon. Nó sử dụng mô hình EmbeddingGemma 2, chứa 740 triệu tham số, để xử lý và ghi lại biên bản cuộc họp trên nhiều ứng dụng khác nhau. Điều này bao gồm hỗ trợ các cuộc họp trực tiếp, cho phép người dùng tạo bản ghi âm và tóm tắt ngay trên máy của họ. Ứng dụng hỗ trợ giao diện chia đôi màn hình, nơi người dùng có thể viết ghi chú thủ công ngắn gọn ở một bên trong khi xem nội dung do AI tạo ra ở bên kia.

Ngoài việc chuyển đổi giọng nói thành văn bản theo thời gian thực, công cụ này tích hợp tính năng cơ sở tri thức. Người dùng có thể tải lên nhiều định dạng tài liệu, bao gồm PDF, Google Docs, tệp Microsoft Office, văn bản thuần túy, Markdown và dấu trang web. Hệ thống lập chỉ mục các tài liệu này để cung cấp câu trả lời phù hợp với bối cảnh trong suốt cuộc họp. Nếu một điểm thảo luận liên quan đến dữ liệu trong cơ sở tri thức đã tải lên, ứng dụng có thể trả lời các câu hỏi theo thời gian thực bằng cách sử dụng trợ lý trò chuyện được vận hành bởi mô hình Gemma 4.

Việc ra mắt này diễn ra trong một thị trường ngày càng đông đúc các công cụ năng suất AI. Trong những tháng gần đây, các công ty như Wispr và Calendly đã giới thiệu các giải pháp ghi chú riêng. Ngoài ra, Superhuman (trước đây là Grammarly) đã mua lại Fathom, một công cụ ghi chú được Y Combinator hậu thuẫn, vào tháng trước. Mặc dù thí nghiệm đọc văn bản trước đó của Google không đạt được sự chấp nhận rộng rãi, các nhà quan sát trong ngành gợi ý rằng bản phát hành này chủ yếu phục vụ mục đích chứng minh tính khả thi kỹ thuật của các mô hình Gemma ngoại tuyến hơn là thống trị thị trường tiêu dùng ngay lập tức.

Cách thức hoạt động

Cơ chế cốt lõi của Google AI Edge Foresight là dựa vào suy luận cục bộ. Bằng cách chạy mô hình EmbeddingGemma 2 trực tiếp trên engine thần kinh của thiết bị, ứng dụng loại bỏ nhu cầu gửi dữ liệu âm thanh hoặc văn bản tới máy chủ đám mây. Kiến trúc này đảm bảo quyền riêng tư và cho phép chức năng hoạt động trong các môi trường không có truy cập internet, chẳng hạn như khi đi máy bay hoặc trong các cơ sở an ninh. Việc tối ưu hóa cho Apple Silicon cho phép mô hình 740 triệu tham số chạy hiệu quả mà không làm cạn kiệt pin quá mức hoặc gây ra độ trễ đáng kể.

Thành phần cơ sở tri thức hoạt động bằng cách nhúng các tài liệu đã tải lên vào một không gian vector cục bộ. Khi người dùng đặt câu hỏi qua giao diện trò chuyện được vận hành bởi Gemma 4, hệ thống sẽ truy xuất thông tin liên quan từ cả bản ghi âm cuộc họp trực tiếp và các tài liệu đã lưu trữ. Phương pháp sinh văn bản tăng cường bằng truy xuất (retrieval-augmented generation) này cho phép trợ lý cung cấp các câu trả lời chính xác, phù hợp với ngữ cảnh và dựa trên dữ liệu của người dùng, thay vì chỉ dựa vào kiến thức được huấn luyện trước của mô hình.

Chi tiết chính

• Ứng dụng có tên là Google AI Edge Foresight và hiện có sẵn cho Mac.
• Nó chạy hoàn toàn ngoại tuyến bằng cách sử dụng mô hình EmbeddingGemma 2 trên thiết bị với 740 triệu tham số.
• Trợ lý trò chuyện để trả lời câu hỏi được vận hành bởi mô hình Gemma 4.
• Các định dạng tải lên được hỗ trợ bao gồm PDF, Google Docs, Microsoft Office, văn bản thuần túy, Markdown và dấu trang web.
• Giao diện có chế độ xem chia đôi màn hình để đồng thời viết ghi chú thủ công ngắn gọn và xem ghi chú do AI tạo ra.
• Ứng dụng được tối ưu hóa cho chip Apple Silicon để đảm bảo xử lý cục bộ hiệu quả.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và trưởng nhóm kỹ thuật, sự chuyển dịch sang các công cụ AI ưu tiên cục bộ đại diện cho một xu hướng kiến trúc quan trọng. Việc chạy các mô hình trên thiết bị giúp giảm độ trễ và loại bỏ sự phụ thuộc vào độ ổn định mạng, điều rất quan trọng đối với các công cụ năng suất đáng tin cậy. Nó cũng giải quyết những lo ngại ngày càng tăng về quyền riêng tư dữ liệu, vì các bản ghi âm cuộc họp nhạy cảm và tài liệu độc quyền không bao giờ rời khỏi phần cứng của người dùng. Cách tiếp cận này trái ngược với các giải pháp dựa trên đám mây yêu cầu kết nối liên tục và đặt ra các vấn đề tiềm ẩn về tuân thủ quy định cho các doanh nghiệp xử lý thông tin mật.

Hơn nữa, bản phát hành này làm nổi bật hệ sinh thái đang trưởng thành của các mô hình mở và cục bộ. Bằng cách chứng minh rằng một mô hình 740 triệu tham số có thể xử lý các tác vụ phức tạp như hỏi đáp theo thời gian thực và chuyển đổi giọng nói trên phần cứng tiêu dùng, Google xác nhận tính khả thi của việc triển khai AI nhẹ. Các nhà phát triển xây dựng công cụ nội bộ có thể tham khảo ví dụ này khi quyết định giữa việc tự host mô hình cục bộ so với sử dụng dịch vụ đám mây dựa trên API, đặc biệt là cho các trường hợp sử dụng nơi chủ quyền dữ liệu là ưu tiên hàng đầu.

Những gì bạn có thể làm

• Đánh giá quy trình họp hiện tại của bạn để xác định xem khả năng ngoại tuyến có cải thiện độ tin cậy hoặc bảo mật hay không.
• Kiểm tra hiệu suất của mô hình cục bộ trên phần cứng Apple Silicon để hiểu mức cơ sở cho các tác vụ AI trên thiết bị.
• Xem xét các chính sách quyền riêng tư dữ liệu để xác định xem việc xử lý chỉ cục bộ có đáp ứng các yêu cầu tuân thủ của tổ chức bạn hay không.
• Khám phá dòng mô hình Gemma để đánh giá xem các mô hình nhỏ hơn, cục bộ có thể thay thế các API đám mây lớn hơn cho các tác vụ cụ thể hay không.
• Cân nhắc tích hợp khả năng tìm kiếm vector cục bộ vào các hệ thống quản lý tri thức nội bộ để truy xuất nhanh hơn và riêng tư hơn.
• Theo dõi bối cảnh cạnh tranh của các công cụ ghi chú AI để so sánh tính năng với các giải pháp ưu tiên cục bộ mới nổi.