Ngày 2/11, New York Times cùng ba tờ báo Mỹ khác kiện Brave tại tòa liên bang ở Manhattan. Họ cáo buộc Brave cào bài viết rồi bán quyền truy cập cho các công ty AI, đồng thời cho phép lách tường trả phí. Vụ kiện đặt ra một câu hỏi kỹ thuật thú vị: làm sao một trang web biết người đang đọc nó là người thật hay bot?

Crawler tự xưng danh qua User-Agent

Mỗi yêu cầu HTTP đều kèm một chuỗi User-Agent. Crawler tử tế như Googlebot khai báo tên mình rõ ràng, và trang web có thể ghi quy tắc vào tệp robots.txt, chẳng hạn cấm một bot cụ thể. Nhưng robots.txt chỉ là lời nhờ vả, không phải hàng rào. Bot nào muốn lờ đi thì về mặt kỹ thuật chẳng có gì ngăn được.

Khi crawler cải trang

Vì vậy bot không trung thực thường đội lốt trình duyệt: gửi User-Agent giống Chrome, xoay vòng địa chỉ IP, thậm chí chạy trình duyệt thật ở chế độ không giao diện. Tranh chấp giữa News Corp và Brave hồi tháng 7 cũng xoay quanh cáo buộc crawler ngụy trang để nhà xuất bản không thể phát hiện và chặn.

Cách phía máy chủ phát hiện

Phòng thủ dựa trên nhiều tầng tín hiệu. Tầng đầu là địa chỉ IP: lưu lượng từ trung tâm dữ liệu đám mây thay vì mạng dân cư thường đáng ngờ. Tầng hai là dấu vân tay TLS: mỗi thư viện HTTP bắt tay mã hóa theo thứ tự tham số riêng, nên Python requests trông khác hẳn Chrome dù User-Agent giống hệt. Tầng ba là hành vi: người đọc cuộn trang, dừng lại, di chuột, còn bot tải hàng nghìn bài với nhịp đều như đồng hồ. Tầng cuối là thử thách chạy JavaScript hoặc CAPTCHA để kiểm tra môi trường trình duyệt thật.

Cuộc chạy đua không hồi kết

Mỗi tầng đều có cách vượt qua: dùng proxy dân cư, giả lập dấu vân tay, mô phỏng chuyển động chuột. Vì thế nhiều nhà xuất bản chuyển sang kiện tụng, như vụ này, hoặc đàm phán thỏa thuận cấp phép. Với kỹ sư, bài học là robots.txt thể hiện ý định, còn việc thực thi đòi hỏi cả hệ thống phát hiện đa tầng. Đây cũng là lý do AI và quyền sở hữu nội dung đang va chạm ngày càng gay gắt.