标签: 分词机制

OpenAI大型语言模型使用tokens处理文本，tokens为文本中常见字符序列。模型通过学习tokens间统计关系，擅长预测序列中的下一个token。该工具帮助理解分词机制。