每一个token都是从源文本中读取的符合词法规则的单词。比如,有文本:I love you,词法为:I | love | you,则经分析将分别获得tokens:I,love,you。token需要长度统一吗?我认为不需要,从来都不需要,不知你从哪获得的知识,也许是个误会吧。