Một bác sĩ da liễu vừa làm thử nghiệm khiến nhiều người bất ngờ: đưa 200 ca tổn thương da đã được sinh thiết xác nhận cho GPT-6 Astra, Claude Fable 5.1 và một mạng nơ-ron tích chập (CNN) Inception v3 do Google (GOOGL) công bố từ năm 2015. Kết quả, mô hình "cổ điển" thắng áp đảo.
Con số nói lên tất cả
Trong 6 loại chẩn đoán có thể xảy ra, CNN chọn đúng 125 ca (62%). Hai LLM hàng đầu chỉ đúng 84 và 85 ca (42%). Có một ca u ác tính (melanoma) bị cả hai chatbot kết luận là u sừng tiết bã lành tính, rồi khuyên cho bệnh nhân ra về. CNN thì nhận diện đúng.
Mô hình CNN chỉ được fine-tune khoảng 20 phút trên một GPU H100, dùng 68.011 ảnh da liễu công khai. Các ca kiểm tra hoàn toàn không nằm trong dataset huấn luyện. Mô hình còn đủ nhỏ để chạy ngay trên trình duyệt điện thoại.
Ý nghĩa với người dùng
Nhiều người đã quen hỏi AI về sức khỏe. Thử nghiệm này nhắc rằng LLM đa năng chưa chắc giỏi bằng mô hình chuyên biệt nhỏ gọn, và một lời khuyên "có thể yên tâm" sai có thể gây hậu quả nghiêm trọng. Trong lĩnh vực công nghệ y tế, mô hình chuyên dụng, rẻ và chạy ngay trên thiết bị vẫn là hướng đi rất đáng giá. Khi nghi ngờ một nốt ruồi, hãy gặp bác sĩ thay vì tin vào chatbot.
