BPE tokeniser

tiktoken

Andrej Karpathy 星標 OpenAI tiktoken：關注高速 BPE Tokeniser

Andrej Karpathy 在 GitHub 為 openai/tiktoken 加星，顯示他關注此高速 BPE Tokeniser。tiktoken 為 Python 套件，提供 3‑6 倍效能提升，支援直接取得模型編碼。此舉暗示其在未來模型開發與推論流程中仍會使用此工具，對 AI 開發者效能優化具重要影響。