2. Договоренности о Лексике

Есть шесть классов лексем: идентификаторы, ключевые слва, константы, строки, операторы и прочие разделители. Симвлы пробела, табуляции и новой строки, а также комментарии (собирательно – «белые места»), как описано ниже, игнорируюся, за исключением тех случаев, когда они служат разделителми лексем. Некое пустое место необходимо для разделения идетификаторов, ключевых слов и констант, которые в противном случае окажутся соприкасающимися.

Если входной поток разобран на лексемы до данного симвла, принимается, что следующая лексема содержит наиболее длинную строку символов из тех, что могут составить лексему.