Sử dụng công cụ tính token AI

Đối với văn xuôi tiếng Anh điển hình, 1.000 từ thường được ước tính khoảng 1.300 đến 1.500 token, nhưng đây chỉ là hướng dẫn chung. Số lượng thực tế phụ thuộc vào bộ mã hóa, ngôn ngữ, dấu câu, định dạng và loại nội dung.

Token là một đơn vị văn bản được xử lý bởi một mô hình ngôn ngữ. Nó có thể là một từ nguyên từ, một phần của từ, dấu câu, một con số hoặc một đoạn văn bản khác, nên số lượng token không giống với số từ.

Các ký tự là các chữ cái, biểu tượng và khoảng trắng riêng biệt; từ là các đơn vị có thể đọc được bởi con người; Token là những quân được tạo ra bởi một bộ tokenizer. Một từ có thể là một token hoặc nhiều token tùy thuộc vào văn bản và tokenizer.

Các họ mô hình khác nhau có thể sử dụng các bộ mã hóa và từ vựng khác nhau. Cùng một lời nhắc, đoạn mã hoặc văn bản đa ngôn ngữ do đó có thể tạo ra các số lượng khác nhau. Hãy coi kết quả Unfox như một tham chiếu lập kế hoạch trừ khi bạn xác minh nó với bộ mã hóa mô hình chính xác.

Ngôn ngữ và hệ thống chữ viết có thể được chia thành các token khác nhau. Tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Ả Rập và các ngôn ngữ khác có thể có mối quan hệ khác nhau giữa token, từ ngữ và ký tự theo từng bộ chia token nhất định.

Cửa sổ ngữ cảnh là lượng thông tin mà một mô hình ngôn ngữ có thể xử lý trong một yêu cầu, thường được đo bằng token. Hướng dẫn hệ thống, prompt, lịch sử hội thoại, tài liệu và kết quả được tạo ra đều có thể chiếm một phần giới hạn này.

Có. Bạn có thể dùng Unfox AI Token Calculator để đếm token trong văn bản và các tập tin văn bản được hỗ trợ. Kết quả cũng hiển thị tổng số từ và ký tự để biết thêm thông tin.

Văn bản được gửi tới dịch vụ tính toán Unfox để trả về số lượng token. Hãy loại bỏ mật khẩu, khóa API, thông tin cá nhân và tài liệu bí mật trước khi gửi nội dung, và xem lại Chính sách Bảo mật hiện tại để biết chi tiết về xử lý dữ liệu.