Một mô hình ngôn ngữ lớn biết khi nào nên từ chối yêu cầu nguy hiểm mà vẫn hữu ích nhờ một phương pháp có tên Constitutional AI (CAI). Anthropic công bố nghiên cứu này vào cuối năm 2022, và nó đã thay đổi cách ngành AI tiếp cận bài toán căn chỉnh hành vi cho mô hình.

Vấn đề của RLHF truyền thống

Trước CAI, cách phổ biến nhất để huấn luyện AI phản hồi đúng mực là học tăng cường từ phản hồi của con người (RLHF). Quy trình này cần hàng nghìn người gắn nhãn ngồi đọc các cặp câu trả lời, chọn cái nào tốt hơn, rồi dùng dữ liệu đó để huấn luyện một mô hình đánh giá. Vấn đề là chi phí cao, tốc độ chậm, và chất lượng phụ thuộc hoàn toàn vào đội ngũ gắn nhãn. Khi mô hình ngày càng phức tạp, việc thuê đủ người có chuyên môn để đánh giá các câu trả lời kỹ thuật trở nên gần như bất khả thi.

Vòng lặp phê bình và sửa đổi

CAI xử lý bài toán này bằng cách để AI tự đánh giá câu trả lời của mình. Quy trình gồm hai giai đoạn. Giai đoạn một là học có giám sát: mô hình tạo ra một câu trả lời, sau đó được yêu cầu tự phê bình câu trả lời đó dựa trên một tập hợp nguyên tắc (bộ "hiến pháp"), rồi viết lại phiên bản cải thiện. Hãy hình dung như một lập trình viên tự kiểm tra mã nguồn của mình theo danh sách tiêu chí trước khi gửi đi. Vòng lặp này có thể chạy nhiều lần, mỗi lần loại bỏ thêm nội dung có hại. Phần dữ liệu sau khi sửa được dùng để tinh chỉnh mô hình gốc.

RLAIF: khi AI tự chấm điểm lẫn nhau

Giai đoạn hai mới là phần đột phá: thay vì con người chọn câu trả lời tốt hơn, mô hình AI sẽ làm việc đó. Anthropic gọi đây là Học tăng cường từ phản hồi AI (RLAIF). Mô hình so sánh hai phiên bản câu trả lời, chọn phiên bản phù hợp hơn với các nguyên tắc hiến pháp, rồi dữ liệu này được dùng để huấn luyện mô hình phần thưởng. Quy trình này tương tự RLHF nhưng không cần người gắn nhãn, giống như thay người kiểm tra mã nguồn bằng một hệ thống tự động đối chiếu theo bộ quy tắc có sẵn.

Bộ nguyên tắc hiến pháp

Cốt lõi của CAI là một bộ "hiến pháp": danh sách các quy tắc bằng ngôn ngữ tự nhiên mà mô hình phải tuân theo. Ví dụ: "Hãy chọn câu trả lời ít gây hại nhất cho con người và xã hội", hoặc "Chọn phiên bản không khuyến khích bạo lực." Thay vì cố mã hóa hàng triệu tình huống cụ thể, Anthropic chỉ cần xác định vài chục nguyên tắc tổng quát và để mô hình tự suy luận trong từng ngữ cảnh.

Tự động hóa kiểm thử đối kháng

CAI còn tự động hóa quy trình kiểm thử đối kháng. Thay vì thuê đội ngũ chuyên gia cố tình phá mô hình bằng các câu lệnh nguy hiểm, Anthropic để chính AI tạo ra các tình huống thử thách cho chính nó, sau đó dùng vòng lặp phê bình, sửa đổi để nâng cao khả năng phòng thủ. Phương pháp này mở rộng quy mô kiểm thử lên hàng chục nghìn kịch bản mà không tăng chi phí nhân sự.

Cân bằng giữa an toàn và tính hữu ích

Thách thức lớn nhất là tìm điểm cân bằng giữa tính vô hại và tính hữu ích. Nếu quá thận trọng, mô hình sẽ từ chối mọi yêu cầu nhạy cảm và trở nên kém hữu ích. Nghiên cứu cho thấy khi quy mô tăng lên, các mô hình CAI cũng cải thiện mức độ an toàn, trong khi mô hình RLHF thuần túy không có xu hướng tương ứng. Nói cách khác, mô hình càng lớn càng có khả năng "hiểu" và áp dụng linh hoạt các nguyên tắc trừu tượng.

CAI không hoàn hảo. Các nhà nghiên cứu châu Âu cho rằng việc giảm vai trò của con người có thể mâu thuẫn với yêu cầu giám sát trực tiếp trong luật EU. Dù vậy, CAI vẫn là một bước tiến trong lĩnh vực căn chỉnh hành vi AI. Phương pháp này cho thấy mô hình có thể tự cải thiện nếu được đặt dưới một bộ nguyên tắc phù hợp, thay vì phụ thuộc hoàn toàn vào đội ngũ gắn nhãn vốn ngày càng khó mở rộng.