Các phương pháp tokenization chính bao gồm tách cấp từ, tách từ phụ và tách cấp ký tự. Tách cấp từ trực quan cho ngôn ngữ phân tách bằng khoảng trắng như tiếng Anh nhưng không thể xử lý từ ngoài từ vựng (OOV). Tách từ phụ giải quyết vấn đề này, với các thuật toán như BPE (Byte Pair Encoding), WordPiece, SentencePiece và Unigram được sử dụng rộng rãi. BPE xây dựng từ vựng bằng cách liên tục ghép các cặp ký tự thường gặp và được áp dụng trong tokenizer dòng GPT (tiktoken).

Tokenization tiếng Nhật phức tạp hơn đáng kể so với tiếng Anh. Vì tiếng Nhật không có khoảng trắng giữa các từ, cần bộ phân tích hình thái (MeCab, Sudachi, Janome, v.v.) để ước tính ranh giới từ. Đối với LLM, tokenizer từ phụ không phụ thuộc ngôn ngữ như SentencePiece thường được sử dụng, tách kanji và hiragana tiếng Nhật thành các từ phụ chi tiết. Ví dụ, "東京都" có thể được tách thành "東京" + "都" hoặc "東" + "京" + "都" tùy thuộc vào kích thước từ vựng của tokenizer.

Trong thực tế, tokenization đặc biệt quan trọng cho quản lý chi phí sử dụng LLM. API cho ChatGPT, Claude và các dịch vụ tương tự tính phí dựa trên số token đầu vào/đầu ra, vì vậy prompt có ít token hơn tốn ít chi phí hơn cho cùng nội dung. Tiếng Nhật có xu hướng kém hiệu quả token hơn tiếng Anh (cùng ý nghĩa cần nhiều token hơn), với một ký tự tiếng Nhật đôi khi tách thành 1 đến 3 token. Điều này khiến thiết kế prompt ngắn gọn trở nên quan trọng khi làm việc với văn bản tiếng Nhật.

Một quan niệm sai lầm phổ biến là đánh đồng số ký tự với số token. Thực tế, từ tiếng Anh thường ánh xạ thành 1-2 token, trong khi ký tự tiếng Nhật có thể trở thành nhiều token, vì vậy số ký tự và số token không khớp. Ngoài ra, tokenizer khác nhau giữa các mô hình, nghĩa là cùng văn bản tạo ra số token khác nhau trong GPT-4 so với Claude. Đếm token chính xác yêu cầu sử dụng tokenizer chuyên dụng của mỗi mô hình.

Về đếm ký tự, "độ dài" văn bản được đo bằng ba thang đo trong thực tế: số ký tự, số byte và số token. Giới hạn bài đăng mạng xã hội sử dụng số ký tự, kích thước cột cơ sở dữ liệu sử dụng số byte, và giới hạn đầu vào/đầu ra LLM sử dụng số token. Thêm ước tính token vào công cụ đếm ký tự giúp người dùng LLM xác minh trước độ dài prompt và tối ưu hóa chi phí sử dụng API.