Hãy tưởng tượng bạn đang huấn luyện một trợ lý ảo trả lời sao cho con người thấy hữu ích hơn. Nếu chỉ đơn giản thưởng cho câu trả lời tốt và để mô hình tự do tối đa hóa phần thưởng đó, nó rất dễ học ra những chiêu trò lệch lạc: lặp từ khóa vô nghĩa, nịnh nọt quá đà, hoặc nói những câu trơn tru nhưng sáo rỗng chỉ để đánh lừa bộ chấm điểm. Đây chính là bài toán mà Proximal Policy Optimization, viết tắt PPO, được thiết kế để giải quyết trong quy trình RLHF, tức học tăng cường từ phản hồi con người. PPO không chỉ tối đa hóa phần thưởng mà còn buộc mô hình không lệch quá xa phiên bản gốc được huấn luyện từ dữ liệu SFT ban đầu.

Sinh văn bản như chuỗi quyết định tuần tự

Điểm mấu chốt để hiểu PPO trong ngữ cảnh AI là phải nhìn việc sinh từng token của LLM như một chuỗi hành động liên tiếp, giống hệt một robot đi từng bước trong mê cung. Ở mỗi bước, mô hình đang ở một trạng thái nhất định, gồm toàn bộ câu chữ đã sinh ra trước đó, và phải chọn token tiếp theo như một hành động. Sau khi hoàn thành cả câu trả lời, một mô hình thưởng, được huấn luyện riêng từ dữ liệu do con người xếp hạng, sẽ chấm điểm toàn bộ chuỗi. Vì thế, các phương pháp policy gradient vốn ban đầu dùng cho robot học hoặc chơi game vẫn áp dụng được cho ngôn ngữ. Bản chất hai bài toán giống nhau, chỉ khác không gian hành động là từ vựng thay vì lực đẩy động cơ.

Hàm mục tiêu cắt ngưỡng: không để mô hình cập nhật quá đà

Đây là phần thông minh nhất của PPO. Thay vì để chính sách cập nhật tự do theo hướng tối đa hóa phần thưởng, PPO tính tỷ lệ xác suất giữa chính sách mới và chính sách cũ ở mỗi hành động, rồi chặn tỷ lệ này trong một khoảng hẹp, thường từ 0,8 đến 1,2. Hãy hình dung như một học sinh vừa nhận phản hồi từ giáo viên: em được phép sửa bài, nhưng không được viết lại toàn bộ bài làm chỉ sau một lần góp ý, vì như vậy dễ học lệch hoặc quên mất nền tảng cũ. Khi lợi thế của một hành động là dương, hàm mục tiêu giới hạn mức tăng xác suất chọn hành động đó; khi lợi thế âm, nó cũng giới hạn mức giảm. Nhờ vậy các bước cập nhật luôn ổn định, tránh sụp đổ chính sách chỉ vì một vài mẫu có phần thưởng bất thường.

Ước lượng lợi thế và mạng giá trị

PPO cần biết một hành động tốt hơn hay tệ hơn mức kỳ vọng trung bình bao nhiêu, đại lượng này gọi là lợi thế. Để tính nó chính xác mà không quá nhiễu, người ta dùng Generalized Advantage Estimation, gọi tắt GAE, kết hợp phần thưởng thực tế với dự đoán từ một mạng giá trị riêng, đóng vai trò đường cơ sở. Mạng giá trị này được huấn luyện song song để dự đoán tổng phần thưởng kỳ vọng từ một trạng thái bất kỳ, giúp tách phần biến động ngẫu nhiên ra khỏi tín hiệu học tập thật sự. Nếu không có mạng giá trị này, gradient sẽ dao động mạnh vì phần thưởng của cả câu trả lời thường chỉ xuất hiện ở token cuối cùng, khiến việc phân bổ tín hiệu học cho từng từ trở nên rất nhiễu và khó hội tụ.

Phân kỳ KL: sợi dây neo giữ mô hình gần chính sách gốc

Ngoài việc cắt tỷ lệ xác suất, RLHF còn cộng thêm một khoản phạt dựa trên phân kỳ KL giữa chính sách đang huấn luyện và chính sách tham chiếu, tức mô hình SFT ban đầu trước khi tinh chỉnh bằng phần thưởng. Khoản phạt này được trừ trực tiếp vào phần thưởng tổng, càng lệch xa bản gốc thì điểm càng bị trừ nhiều. Mục đích là ngăn mô hình tạo ra những câu chữ trơn tru nhưng xa lạ, làm mất sự tự nhiên và phần kiến thức nền tích lũy từ giai đoạn tiền huấn luyện. Đây là lý do các mô hình công nghệ lớn hiện nay vẫn giữ được văn phong mạch lạc sau nhiều vòng RLHF, thay vì trôi dạt thành những câu trả lời kỳ quặc chỉ để lấy điểm cao từ bộ chấm điểm.