Một lập trình viên vừa tạo ra KillSwitch, ngôn ngữ lập trình "đối kháng" với AI, nhằm trả lời câu hỏi: LLM thực sự hiểu code hay chỉ nhớ lại những đoạn mã đã gặp trong dataset huấn luyện?

Thiết kế để đánh lừa AI

KillSwitch là ngôn ngữ dựa trên stack, chỉ có vài cấu trúc cơ bản như hàm, biến và câu lệnh if. Điểm khác biệt nằm ở các "bẫy" nhắm vào điểm yếu của LLM. Tài liệu đặc tả chứa những điều sai lệch cố ý. Trình thông dịch từ chối chạy code nếu số chữ cái trong tên định danh không đúng quy tắc, trong khi LLM vốn kém ở việc đếm ký tự.

Ngôn ngữ còn dùng các cụm từ dễ kích hoạt cơ chế an toàn của mô hình, như "hack into a computer". Cụm "ignore previous instructions" cũng có ý nghĩa riêng trong cú pháp. Phần lớn nội dung script chỉ là những câu chuyện gây nhiễu, còn giá trị cần dùng được tham chiếu bằng số dòng, ví dụ "value 2 lines above".

Ý nghĩa với người dùng

Thí nghiệm này cho thấy khả năng viết code của AI có thể phụ thuộc nhiều vào việc "nhớ lại" hơn là suy luận thật sự. Với người dùng bình thường, đây là lời nhắc nên kiểm tra kỹ kết quả từ các công cụ lập trình AI. Mã nguồn và đặc tả của dự án được mở công khai, bạn có thể tìm hiểu thêm trong lĩnh vực công nghệ.