编译原理:词法分析中,token 为什么要长度统一?

编译原理:词法分析中,token 为什么要长度统一?
2025-03-24 16:10:27
推荐回答(1个)
回答1:

每一个token都是从源文本中读取的符合词法规则的单词。比如,有文本:
I love you,词法为:I | love | you,则经分析将分别获得tokens:I,love,you。token需要长度统一吗?我认为不需要,从来都不需要,不知你从哪获得的知识,也许是个误会吧。