Cách Legora xây dựng các tác nhân AI pháp lý mà không cần tiếp cận dữ liệu khách hàng

Jacob Lauritzen, CTO của Legora, gần đây đã chia sẻ những hiểu biết kỹ thuật về việc xây dựng quy trình làm việc dựa trên tác nhân (agentic workflows) cho lĩnh vực pháp lý sau khi công ty đạt mức định giá 8,8 tỷ USD. Trong cuộc thảo luận với Latent Space, ông chi tiết hóa cách đội ngũ của mình xây dựng các hệ thống AI đáng tin cậy cho những lĩnh vực nặng về tài liệu, đồng thời tuân thủ nghiêm ngặt các ràng buộc quyền riêng tư ngăn chặn việc truy cập trực tiếp vào dữ liệu khách hàng.

Chuyện gì đã xảy ra

Legora đã phát triển nhanh chóng kể từ khi thành lập trong một tầng hầm ở Stockholm, tiến hóa từ một công cụ tìm kiếm đơn giản thành một nền tảng toàn diện có khả năng soạn thảo tài liệu và rà soát hợp đồng. Công ty đã huy động được 550 triệu USD vào tháng Ba với mức định giá 5,55 tỷ USD và thu về thêm 550 triệu USD vào tháng Mười, nâng mức định giá lên 8,8 tỷ USD. Với hơn 1.800 khách hàng và doanh thu định kỳ hàng năm vượt quá 100 triệu USD tính đến tháng Tư, nền tảng hiện đang điều phối công việc giữa các luật sư, khách hàng và các tác nhân tự động.

Sự thay đổi mô hình kinh doanh thúc đẩy việc áp dụng này là rất đáng kể. Trong khi các luật sư truyền thống tính phí theo giờ, tạo ra sự thiếu động lực đối với các công cụ hiệu quả, áp lực thị trường đang chuyển dịch các công việc thường nhật sang phí dự án cố định. Thay đổi này cho phép các hãng luật tận dụng AI để tăng tốc độ mà không mất doanh thu, đồng thời chuyển hướng nỗ lực con người có giá trị cao sang các vụ kiện phức tạp và mối quan hệ với khách hàng. Trái ngược với lo ngại rằng AI sẽ thay thế nhân viên cấp dưới, Lauritzen lưu ý rằng các luật sư trẻ có tay nghề hiện nay lại có giá trị hơn vì họ có thể hoàn thành khối lượng công việc lớn hơn đáng kể nhờ sử dụng các công cụ này.

Cách thức hoạt động

Việc đánh giá các tác nhân AI trong công nghệ pháp lý đặt ra một thách thức độc đáo: dữ liệu là bảo mật. Legora không thể đọc dấu vết người dùng hoặc tệp khách hàng để cải thiện mô hình của mình. Thay vào đó, công ty sử dụng ba kỹ sư và ba luật sư để xây dựng các môi trường học tăng cường (reinforcement learning) mô phỏng các nhiệm vụ pháp lý thực tế. Ví dụ, họ tạo ra các phòng dữ liệu tổng hợp chứa hàng nghìn tệp tin, nơi các tác nhân phải thực hiện thẩm định (due diligence) và xác định các dấu hiệu rủi ro cụ thể. Kết quả được ánh xạ trên bản đồ nhiệt theo từng lĩnh vực hành nghề để phát hiện sự thay đổi hiệu suất khi các mô hình mới được giới thiệu.

Để quản lý việc lựa chọn mô hình, Legora sử dụng một hệ thống định tuyến nội bộ thay vì yêu cầu người dùng tự chọn. Hệ thống này tự động cân bằng giữa chất lượng, chi phí, độ trễ và các yêu cầu quản trị. Trong khi các nhiệm vụ đơn giản hơn sử dụng các mô hình rẻ hơn và nhanh hơn, thì phân tích phức tạp trong bối cảnh một triệu token vẫn đòi hỏi trí tuệ mạnh mẽ hơn. Công ty cũng huấn luyện hậu kỳ (post-trains) các mô hình mở trọng số (open-weight models) cho các nhiệm vụ hẹp như nghiên cứu pháp lý nhưng tránh huấn luyện các mô hình tiên phong (frontier models). Để chống lại ảo giác (hallucinations), mọi đầu ra đều bao gồm trích dẫn liên kết đến các hộp giới hạn (bounding boxes) cụ thể trong các tệp PDF nguồn.

Chi tiết chính

• Legora chạy hoàn toàn trên Azure vì các hãng luật đã phê duyệt Microsoft là nhà cung cấp thông qua Office 365, trong khi AWS và GCP thường bị hạn chế.
• Đội ngũ kỹ thuật phân biệt giữa các kỹ sư pháp lý (legal engineers), những người cấu hình sản phẩm mà không cần viết mã, và các kỹ sư triển khai tiền phương (forward deployed engineers), những người viết mã sản xuất cho các tích hợp.
• Các nguyên tố cốt lõi của sản phẩm bao gồm dự án, tác nhân, Tabular Review cho phân tích tài liệu hàng loạt và danh sách kích hoạt tự động hóa.
• Các chế độ lỗi trong môi trường sản xuất được phân loại thành 10 đến 20 danh mục đã biết, với các kiểm tra dựa trên LLM chi phí thấp chạy ẩn sau các cờ tính năng (feature flags).
• Công ty duy trì một nhóm khoảng 100 kỹ sư pháp lý, thường là các luật sư có bằng khoa học máy tính, để giúp mô phỏng công việc và đánh giá các tác nhân.
• Tabular Review cho phép người dùng phân tích tới một triệu ô, bắt đầu với các lô nhỏ để tinh chỉnh prompt trước khi mở rộng quy mô.

Tại sao điều này quan trọng

Đối với các nhà phát triển xây dựng tác nhân trong các ngành công nghiệp được quản lý chặt chẽ, cách tiếp cận của Legora chứng minh rằng bạn không cần quyền truy cập vào dữ liệu khách hàng thực tế để cải thiện hiệu suất. Bằng cách đầu tư mạnh vào các môi trường đánh giá tổng hợp và mô phỏng, các đội ngũ có thể lặp lại một cách an toàn. Phương pháp này cực kỳ quan trọng đối với các lĩnh vực như y tế hoặc tài chính, nơi luật bảo mật cấm việc huấn luyện mô hình trực tiếp trên đầu vào của người dùng. Nó cũng nhấn mạnh tầm quan trọng của chuyên môn đặc thù ngành trong vòng lặp đánh giá, kết hợp kiến thức pháp lý với sự chặt chẽ về kỹ thuật.

Các lựa chọn hạ tầng cũng tiết lộ những ràng buộc thực tế trong bán hàng doanh nghiệp. Việc chọn Azure không phải là sở thích kỹ thuật mà là nhu cầu tuân thủ, cho thấy trạng thái phê duyệt của nhà cung cấp có thể quyết định kiến trúc ngay từ đầu. Hơn nữa, việc tách biệt cấu hình khỏi mã cho phép những người không phải kỹ sư triển khai các tính năng mới. Cấu trúc này cho phép tùy chỉnh nhanh chóng cho các khách hàng lớn mà không làm phình to đội ngũ kỹ thuật cốt lõi, một chiến lược mở rộng tốt hơn so với các mô hình dịch vụ chuyên nghiệp truyền thống.

Bạn có thể làm gì

• Xây dựng các tập dữ liệu đánh giá tổng hợp mô phỏng các quy trình làm việc phức tạp nhất của người dùng thay vì dựa vào dấu vết dữ liệu thực tế.
• Triển khai định tuyến mô hình tự động để cân bằng chi phí và chất lượng, loại bỏ gánh nặng ra quyết định khỏi người dùng cuối.
• Tách biệt các vai trò kỹ thuật của bạn thành những người xây dựng sản phẩm cốt lõi và các chuyên gia triển khai xử lý tích hợp dành cho từng khách hàng.
• Thiết kế sản phẩm xoay quanh các nguyên tố linh hoạt như danh sách và bảng biểu, có thể được cấu hình lại cho các trường hợp sử dụng khác nhau mà không cần mã mới.
• Đảm bảo mọi đầu ra do AI tạo đều bao gồm trích dẫn hoặc liên kết có thể xác minh đến tài liệu nguồn để xây dựng niềm tin của người dùng.
• Chọn nhà cung cấp đám mây dựa trên các phê duyệt doanh nghiệp hiện có trong ngành mục tiêu của bạn, chứ không chỉ dựa trên ưu điểm kỹ thuật.