C++ token解析方法

在C++中，可以使用词法分析器（lexer）来解析token。词法分析器会读取源代码并将其分解成一个个的token，这些token可以是关键字、标识符、运算符、常量等。

以下是一个简单的C++代码示例，展示如何使用词法分析器来解析token:

#include <iostream> #include <sstream> #include <cctype>  enum TokenType {     KEYWORD,     IDENTIFIER,     OPERATOR,     CONSTANT };  struct Token {     TokenType type;     std::string value; };  std::vector<Token> tokenize(const std::string &input) {     std::vector<Token> tokens;     std::istringstream inputStream(input);     std::string tokenValue;      while (inputStream >> tokenValue) {         Token token;          if (tokenValue == "int" || tokenValue == "float" || tokenValue == "double") {             token.type = KEYWORD;         } else if (std::isalpha(tokenValue[0])) {             token.type = IDENTIFIER;         } else if (std::ispunct(tokenValue[0])) {             token.type = OPERATOR;         } else {             token.type = CONSTANT;         }          token.value = tokenValue;         tokens.push_back(token);     }      return tokens; }  int main() {     std::string input = "int main() { return 0; }";     std::vector<Token> tokens = tokenize(input);      for (const Token &token : tokens) {         std::cout << "Type: " << token.type << ", Value: " << token.value << std::endl;     }      return 0; } 

在上面的例子中，我们定义了一个简单的token结构体，包含类型和值两个成员。然后编写了一个tokenize函数，该函数接受输入源代码的字符串，通过一个istringstream对象来逐个读取token并判断其类型，最后将token存储在一个vector中返回。

在main函数中，我们传入一个简单的C++代码字符串，并调用tokenize函数解析token，然后打印出每个token的类型和值。

通过这种方法，我们可以实现基本的token解析功能，可以根据需要扩展词法分析器来支持更多类型的token。