Block ra mắt Dessa, mô hình giọng nói song công toàn phần được huấn luyện trên dữ liệu âm thanh

Block của Jack Dorsey đã phát hành Dessa, một mô hình giọng nói mới do phòng thí nghiệm nghiên cứu của họ phát triển. Mô hình này hoạt động cục bộ và tái tạo các sắc thái giọng nói của con người như tiếng cười, khoảng lặng và tiếng khóc. Ra mắt vào tháng 10 năm 2026, Dessa đại diện cho một bước tiến quan trọng trong AI hội thoại bằng cách loại bỏ quy trình dựa trên văn bản truyền thống và cho phép giao tiếp song công toàn phần trên phần cứng cấp độ tiêu dùng.

Chuyện gì đã xảy ra

Block giới thiệu Dessa như một mô hình giọng nói song công toàn phần, nghĩa là nó có thể vừa nghe vừa nói đồng thời, tương tự như GPT-Live của OpenAI được phát hành trước đó trong năm. Khác với nhiều hệ thống hiện tại kết hợp mô hình giọng nói với các mô hình ngôn ngữ lớn để truy xuất kiến thức, Block tuyên bố rằng kiến thức của Dessa hoàn toàn bắt nguồn từ dữ liệu hội thoại mà nó được huấn luyện. Công ty đã huấn luyện mô hình này hoàn toàn trên giọng nói của con người sử dụng một giá đỡ GPU NVIDIA duy nhất.

Việc phát hành này nhấn mạnh những điểm yếu trong kiến trúc AI giọng nói hiện nay. Block lập luận rằng việc chuyển đổi giọng nói thành văn bản làm mất đi thông tin cảm xúc quan trọng, dẫn đến các tương tác thiếu tự nhiên và tiềm ẩn rủi ro. Trong một bài đăng trên blog, công ty cho biết việc tương tác với AI giọng nói hiện tại "có thể thực sự tệ hại" vì nó không nắm bắt được cảm xúc của người dùng. Bằng cách huấn luyện trực tiếp trên giọng nói, Block khẳng định Dessa tích hợp cảm xúc một cách tự nhiên thay vì dựa vào các thẻ giọng nói bên ngoài để mô phỏng cảm giác, phương pháp được các đối thủ cạnh tranh như ElevenLabs v4 hoặc Fish Audio Drama 3 sử dụng.

Để chứng minh khả năng, các nhà nghiên cứu của Block đã chia sẻ những ví dụ nơi trợ lý ảo thể hiện nhịp điệu và cảm xúc đa dạng. Trong một trường hợp, bot nghe có vẻ thực sự mệt mỏi khi thảo luận về sự kiệt sức trong công việc. Ở trường hợp khác, nó tỏ ra xúc động và gần như khóc khi nói về sự an ủi. Một ví dụ thứ ba cho thấy một thành viên đội ngũ chơi trò đoán với trợ lý, và trợ lý đã phản hồi nhanh chóng và chính xác. Bất chấp những minh chứng này, vẫn chưa có quyền truy cập công khai vào Dessa. Block đã đưa ra lời kêu gọi các nhà nghiên cứu an ninh thử nghiệm mô hình, có lẽ nhằm xác định các rủi ro như việc các agent giọng nói lừa dối người dùng.

Cách thức hoạt động

Dessa hoạt động như một mô hình chuyển đổi từ giọng nói sang giọng nói, bỏ qua bước tạo sinh văn bản trung gian thường thấy ở hầu hết các trợ lý giọng nói. Các hệ thống truyền thống ghi âm thanh thành văn bản, xử lý qua mô hình ngôn ngữ, sau đó tổng hợp giọng nói từ văn bản kết quả. Quy trình này thường làm mất đi nhịp điệu, tông giọng và các tín hiệu phi ngôn ngữ. Dessa xử lý đầu vào âm thanh trực tiếp thành đầu ra âm thanh, bảo toàn các đặc tính âm học truyền tải cảm xúc và ý định.

Mô hình được thiết kế để chạy cục bộ trên phần cứng tiêu dùng, chẳng hạn như MacBook M4 Max trở lên. Việc thực thi cục bộ này giảm độ trễ và hạ thấp chi phí so với các giải pháp dựa trên đám mây. Bằng cách giữ quá trình xử lý trên thiết bị, Block hướng tới việc kích hoạt các tương tác phản hồi nhanh hơn và riêng tư hơn cho cả ứng dụng doanh nghiệp và tiêu dùng. Công ty mô tả sự phát triển này là "khoảnh khắc GPT-3 dành cho giọng nói", gợi ý rằng nó có thể dân chủ hóa AI giọng nói chất lượng cao tương tự như cách các mô hình ngôn ngữ trước đây mở ra kỷ nguyên tạo sinh văn bản.

Chi tiết chính

• Tên mô hình: Dessa, được phát triển bởi phòng thí nghiệm nghiên cứu của Block.
• Kiến trúc: Mô hình chuyển đổi từ giọng nói sang giọng nói song công toàn phần, được huấn luyện hoàn toàn trên giọng nói con người.
• Yêu cầu phần cứng: Chạy cục bộ trên GPU tiêu dùng, bao gồm MacBook M4 Max trở lên; được huấn luyện trên một giá đỡ GPU NVIDIA duy nhất.
• Phạm vi cảm xúc: Có khả năng biểu đạt tiếng cười, khoảng lặng, tiếng khóc và sự mệt mỏi mà không cần thẻ giọng nói rõ ràng.
• Khả năng tiếp cận: Chưa khả dụng công khai; Block hiện đang mời các nhà nghiên cứu an ninh thử nghiệm mô hình.
• Cơ sở kiến thức: Bắt nguồn từ dữ liệu hội thoại thay vì được ghép nối với một mô hình ngôn ngữ lớn riêng biệt.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng agent hội thoại, Dessa báo hiệu một sự chuyển dịch tiềm năng khỏi các quy trình lấy văn bản làm trung tâm. Nếu cảm xúc và sắc thái có thể được tích hợp trực tiếp vào mô hình giọng nói, các nhà phát triển có thể không còn cần các lớp điều phối phức tạp để quản lý tông giọng và nhịp độ. Sự đơn giản hóa này có thể giảm độ trễ và cải thiện tính tự nhiên của các tương tác, điều rất quan trọng đối với dịch vụ khách hàng, chăm sóc sức khỏe và các ứng dụng đồng hành, nơi sự thấu cảm là chìa khóa.

Khả năng chạy một mô hình mạnh mẽ như vậy trên phần cứng tiêu dùng cũng thay đổi bối cảnh triển khai. Thực thi cục bộ có nghĩa là chi phí vận hành thấp hơn và quyền riêng tư được nâng cao, vì dữ liệu không cần rời khỏi thiết bị. Đối với các doanh nghiệp như Square, vốn đã sử dụng AI giọng nói cho việc đặt hàng, việc sở hữu một mô hình độc quyền và hiệu quả có thể mang lại lợi thế cạnh tranh trong việc tạo ra trải nghiệm giọng nói liền mạch, chi phí thấp cho các doanh nghiệp nhỏ.

Tuy nhiên, việc thiếu quyền truy cập công khai và tập trung vào thử nghiệm an ninh nêu bật những rủi ro liên quan. Các mô hình giọng nói siêu thực có thể bị lạm dụng cho mục đích gian lận hoặc kỹ thuật xã hội. Bằng cách mời các nhà nghiên cứu an ninh khảo sát hệ thống trước khi phát hành rộng rãi, Block thừa nhận tính chất lưỡng dụng của công nghệ này. Các nhà phát triển nên chuẩn bị cho sự giám sát chặt chẽ hơn xung quanh xác thực giọng nói và sự đồng thuận của người dùng khi các công cụ này trở nên phổ biến hơn.

Bạn có thể làm gì

• Theo dõi các thông báo của Block để tìm kiếm khả năng phát hành API hoặc bản xem trước cho nhà phát triển của Dessa.
• Đánh giá stack giọng nói hiện tại của bạn để xem liệu việc loại bỏ trung gian văn bản có thể cải thiện độ trễ hoặc độ chân thực cảm xúc hay không.
• Xem xét các hướng dẫn an ninh cho AI giọng nói để chuẩn bị cho các kịch bản lạm dụng tiềm tàng như âm thanh deepfake.
• Kiểm tra khả năng suy luận cục bộ trên phần cứng như MacBook M4 Max để hiểu các ràng buộc tài nguyên cho các mô hình trên thiết bị.
• Tham gia cộng đồng nghiên cứu an ninh để cập nhật các thực hành tốt nhất trong việc thử nghiệm và triển khai các agent giọng nói thực tế.
• Cân nhắc xem tương tác song công toàn phần có thể nâng cao trải nghiệm người dùng trong lĩnh vực ứng dụng cụ thể của bạn như thế nào, chẳng hạn như trò chơi điện tử hoặc hỗ trợ khách hàng.