UTF - 8（全球字符能被唯一标识）、GBK、Unicode、ANSI 区别与关联

qwen模型分词器文件

1. ASCII（基础铺垫，理解编码起源）

• 作用：最早期为处理英文文本设计，是字符编码的基础，后演变成其他编码兼容的一部分 。
• 范围：共 128 个字符（0 - 127），包含英文大小写字母、数字、标点符号（如 ! , ）及简单控制字符（如换行 \n 、回车 \r ）。比如英文字母 A ，ASCII 编码是 65（十进制），对应字节就是 0x41（十六进制 ）。</