Mercor vừa ra mắt Benchmark Map, một bản đồ cho thấy các bài kiểm tra AI hiện nay bao phủ công việc thực tế của người Mỹ đến đâu. Kết quả khá bất ngờ: khoảng 90% số giờ làm việc ở Mỹ nằm ở những tác vụ gần như chưa có benchmark nào đo được.

Bản đồ 923 nghề nghiệp

Nhóm nghiên cứu dùng hệ thống phân loại O*NET của Bộ Lao động Mỹ, gồm 923 nghề và 18.797 tác vụ, chia thành 22 nhóm ngành. Họ chọn 29 benchmark chất lượng cao, rồi nhờ một LLM gán từng câu hỏi kiểm tra vào các tác vụ tương ứng. Một tác vụ được tính là có phủ sóng khi LLM gán ít nhất 5 câu hỏi từ 29 benchmark vào tác vụ đó.

Phần lớn nghề vẫn bị bỏ ngỏ

Chỉ 208 trong 923 nghề có ít nhất một tác vụ đạt ngưỡng này, và 6 trong 22 nhóm ngành không có nghề nào đạt ngưỡng. Các benchmark đang tập trung vào những thị trường lao động lớn trước. Chẳng hạn, công việc của luật sư được đo khá kỹ, trong khi thư ký pháp lý hay nhân viên tòa án, những nghề chịu ảnh hưởng của AI tương tự, gần như bị bỏ qua.

Ý nghĩa với người lao động

Khi chưa có thước đo, rất khó biết các mô hình AI thực sự làm tốt đến đâu những công việc mà người Mỹ làm hằng ngày. Đây là bước đầu để các công nghệ mới được đánh giá sát với thực tế kinh tế hơn.