LLM Token 计数器：在浏览器里精确计算大模型分词与费用
什么是 LLM Token 计数器？
LLM Token 计数器是一款在线工具，能够将文本按照大语言模型的 BPE 分词规则切分为 token 序列，实时显示 token 数量、上下文窗口占比、字符/token 比值，并基于模型单价估算调用费用。支持 GPT-4o、GPT-4、Claude、Gemini、DeepSeek V3、Llama 3 等主流模型，所有计算在浏览器本地完成，文本不上传服务器。
为什么要关心 token？
大语言模型不是按「字符」或「词」计价的，而是按 token——BPE 分词后的子词单位。输入一段中文「人工智能」，GPT-4o 可能切成 ['人工', '智能'] 两个 token，GPT-3.5 可能切成 4 个以上，直接影响费用和是否超上下文。
英文
约 4 字符 / token，1 个单词 ≈ 1-2 tokens
中文
约 0.6 字符 / token，1 个汉字 ≈ 1-2 tokens
代码
介于英文和中文之间，空白密集时更少
分词器一览
| 分词器 | 词表 | 使用模型 | 精度 |
|---|---|---|---|
| o200k_base | ≈200k | GPT-4o / 4.1 / 5 / o3 / o4-mini | 精确 |
| cl100k_base | ≈100k | GPT-4 / GPT-3.5 | 精确 |
| cl100k_base（近似） | ≈100k | Claude、Gemini（标「估」） | 仅量级参考 |
Claude 和 Gemini 没有公开官方分词器，本地用 cl100k_base 近似，英文误差 ±5–10%，中文 ±10–20%。
使用场景
估算单次调用费用
写提示词前先看看喂进去多少 token，对照输入/输出单价估个单次和批量费用，避免一跑就超预算。
排查上下文超限
把完整历史 + 系统提示 + RAG 检索结果拼一起贴进来，看是否逼近模型上下文窗口，决定要不要裁剪或切分。
理解分词边界
一段中英混排、代码或 emoji 到底被切成了哪些 token？可视化模式一眼看出分词细节。
对比模型性价比
同样一段输入切到不同模型，结合 token 数 × 单价快速对比，选性价比最合适的那一档。
常见问题
GPT-4o 和 GPT-4 的 token 数为什么差别很大？
GPT-4o 改用了 o200k_base 编码（词表约 20 万），GPT-4 / GPT-3.5 用 cl100k_base（约 10 万）。新编码对中文、日文、代码切得更高效，同一段中文在 GPT-4o 上 token 数通常只有 GPT-4 的 60–70%。
1 个 token 大概多少字符？
英文约 4 字符 / token，中文约 0.6 字符 / token（一个汉字通常 1–2 tokens）。代码、URL、JSON 介于两者之间。具体看页面上的「字符 / token」实时比值最准。
输出 token 为什么要单独估？
绝大多数模型输出单价是输入的 3–5 倍。比值按任务类型估：翻译/改写 ≈ 1.0，摘要 ≈ 0.1–0.3，扩写/生成 ≈ 1.5–3，问答 ≈ 0.3–0.8。没底的话从 1.0 起，跑几次实测后再调。
本地计算会把我的文本上传吗？
不会。分词完全在浏览器里完成，文本不出你的电脑。价格单价和设置保存在 localStorage，断网也能用。
Chat API 实际花的 token 比页面显示的多一些？
对。Chat Completions 每条消息会加 role 标记等控制 token，系统侧大约每条 +3–7 tokens。本工具只算纯文本内容的 token，不含消息结构开销。粗略估计：最终账单 ≈ 本工具显示值 + 消息数 × 5。