Một phát hiện mới từ cộng đồng AI đang khiến giới lập trình viên phải nhìn lại cách họ sử dụng các mô hình ngôn ngữ lớn (LLM). Theo bài phân tích trên Garrit.xyz, mỗi LLM thực chất có hai vùng trong context window: vùng "thông minh" (smart zone) nơi mô hình hoạt động tốt, và vùng "ngu" (dumb zone) nơi hiệu suất suy giảm mạnh. Đường ranh giới nằm ở khoảng 100k token, bất kể nhà sản xuất quảng cáo context window lên tới 200k, 1 triệu hay 2 triệu token.

Tại sao điều này quan trọng với người dùng thường?

Các coding agent hiện đại như Claude Code đốt token cực nhanh. Chỉ sau vài lần đọc file, debug, chạy test, bạn đã chạm ngưỡng 100k token và rơi vào vùng "ngu". Hệ quả: AI bắt đầu quên những gì bạn yêu cầu từ đầu phiên, dẫn đến code lỗi, logic sai, hoặc phải lặp lại lệnh. Các nghiên cứu như RULER và Chroma's report về "context rot" xác nhận rằng context hiệu quả thực tế chỉ bằng một phần nhỏ con số được quảng cáo.

Giải pháp từ cộng đồng và startup

Các nhà phát triển đã tìm ra cách đối phó. Công cụ Claude Code của Anthropic tự động "auto-compact" tóm tắt lịch sử hội thoại khi phiên quá dài. Nhưng giải pháp thông minh hơn đến từ các dự án open source như obra/superpowers và mattpocock/skills, nơi toàn bộ workflow được cấu trúc thành các artifact nhỏ có tên gọi: PRD, kế hoạch, kỹ năng, handoff giữa các sub-agent. Mỗi artifact là một mảnh ghép giúp giữ phiên làm việc trong vùng thông minh, không bị quá tải.

Tác giả bài viết khuyên lập trình viên nên xem context window như một ngân sách. Thay vì tin vào con số lớn trên bao bì, hãy chủ động tách thông tin ra khỏi phiên live và lưu vào artifact dạng văn bản. Đây là cách tiếp cận "breadcrumb" hiệu quả, cho phép phiên sau hoặc người khác tiếp tục công việc một cách sạch sẽ. Xu hướng này đang thay đổi cách cộng đồng AI tương tác với các mô hình ngôn ngữ, đặc biệt trong lĩnh vực lập trình và phát triển phần mềm.