Sentence embedding biến cả câu thành một vector duy nhất bằng cách nào?
Sentence embedding chuyển toàn bộ câu thành một vector số duy nhất, là nền tảng của tìm kiếm ngữ nghĩa hiện đại. Kỹ thuật pooling từ transformer như BERT giúp tổng hợp các token thành vector câu.
Tại sao tokenizer xử lý tiếng Việt tốn nhiều token hơn tiếng Anh?
Tiếng Việt tốn nhiều token hơn tiếng Anh khi dùng AI do thuật toán BPE được huấn luyện chủ yếu trên dữ liệu tiếng Anh, dẫn đến chi phí API cao hơn đáng kể.
