ANTLR 4和AST访问者

Question

我将尝试使用ANTLR4的AST，使用以下文件：

Builder.java

import org.antlr.v4.runtime.ANTLRInputStream;
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.TokenStream;

public class Builder
{

    public static void main(String[] args)
    {
        CharStream input = new ANTLRInputStream("ON M1==2 && M3 == 5 && (M2 > 1 || M5 <= 5.0) "
                                              + "DO P5:42 P4:10");
        ExprLexer lexer = new ExprLexer(input);
        TokenStream tokens = new CommonTokenStream(lexer);
        ExprParser parser = new ExprParser(tokens);
        parser.addParseListener(new ExprTestListener());
        ExprParser.ExpressionContext uu = parser.expression();
    }

}

ExprTestListener:

import org.antlr.v4.runtime.ParserRuleContext;
import org.antlr.v4.runtime.Token;
import org.antlr.v4.runtime.tree.TerminalNode;
import org.antlr.v4.runtime.tree.ErrorNode;

public class ExprTestListener extends ExprBaseListener {
    @Override public void enterExpression(ExprParser.ExpressionContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitExpression(ExprParser.ExpressionContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterActionexpr(ExprParser.ActionexprContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitActionexpr(ExprParser.ActionexprContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterCondexpr(ExprParser.CondexprContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitCondexpr(ExprParser.CondexprContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterCond(ExprParser.CondContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitCond(ExprParser.CondContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterEveryRule(ParserRuleContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitEveryRule(ParserRuleContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void visitTerminal(TerminalNode node)
    {
    }
    @Override public void visitErrorNode(ErrorNode node)
    {
    }
}

Expr.g:

grammar Expr;
options
{
  // antlr will generate java lexer and parser
  language = Java;

}
WS      : [ \t\r\n]+ -> skip ;
OP      : '&&' | '||';
COMP    : '==' | '<' | '>' | '<=' | '>=' | '!=';
fragment INT     : [0-9]+;
REAL    : INT '.' INT | INT;

ACTION  : 'P' INT ':' INT;
MEASURE : 'M' INT;

// ***************** parser rules:
cond       : MEASURE COMP REAL;
condexpr   : '(' condexpr ')' | cond OP condexpr | cond;
actionexpr : ACTION actionexpr | ACTION;
expression : 'ON' condexpr 'DO' actionexpr;

我有这个输出：

[]
[]
[29]
[29]
[16 29]
[16 29]
[16 29]
[16 29]
[18 29]
[18 29]
[16 18 29]
[16 18 29]
[16 18 29]
[16 18 29]
[18 18 29]
[18 18 29]
[13 18 18 29]
[13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[18 13 18 18 29]
[18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[18 13 18 18 29]
[18 13 18 18 29]
[13 18 18 29]
[13 18 18 29]
[18 18 29]
[18 18 29]
[18 29]
[18 29]
[29]
[29]
[31]
[31]
[24 31]
[24 31]
[24 31]
[24 31]
[31]
[31]
[]
[]

我发现使用ANTLR4来理解访问者很困难。

我的三个目标是：

• 收集MEASURES和ACTIONS的INTs，并将它们分别存入两个不同的集合中
• 替换一些操作符（例如用<>代替!=）
• 获取condexpr（顶部项）字符串并替换其中的操作符（请参阅上述要点）

- GlinesMome

---

明白了吗？“树”目标？ :) - john k

Answer 1

首先，我会解释一下你所观察到的情况：

首先，请阅读你调用的方法的文档。 Parser.addParseListener 文档包括以下注意事项：

 

这只适用于高级用户。请将您的 ParseTreeListener 提供给 ParseTreeWalker 而不是提供给解析器！！！

ParserRuleContext 类的 toString() 实现只是在创建上下文时打印规则调用堆栈。当监听器进入规则并退出规则时，您都打印了一次。对于 actionexpr、cond 和 condexpr，您再次打印它，结果每个上下文都会有 4 行完全相同的输出。

接下来关于你的目标的一些说明：

• 在 enterCond 和 exitCond 中，可以通过调用 ctx.MEASURE().getText() 获取“MEASURE”文本。
• 在 enterActionexpr 和 exitActionexpr 中，可以通过调用 ctx.ACTION().getText() 获取“ACTION”文本。
• 您可以通过创建新的 TerminalNodeImpl 和 CommonToken 来更改 COND token，并使用访问者或监听器将其分配给 CondContext.children 字段中的正确索引。

- Sam Harwell

Answer 2

您可以使用一种树标签来设置解析的上下文，然后使用访问者类遍历观察到的图形叶子，并触发方法以从语言源代码中创建操作。因此，在初始访问时，监听器不会处理实际的访问者模式。实际的访问者模式和访问处理是通过表达式基础监听器类扩展的方法完成的。

监听器确定表达式。

@Override public void enterListener(ExprParser.EXPR_CONTEXTContext ctx) { 
  //some code to view the compilation process
}

表达式规则获得一个名称标签：

'EXPR_CONTEXT' expression             # EXPR_CONTEXT //the tree label

表达式 walker 已实现：

public class ExprWalker extends ExprBaseListener {

  @Override 
  public void enterListener(ExprParser.EXPR_CONTEXTContext ctx) { 

    java.util.List<ExprParser.ExpressionContext> e = ctx.expression();

    System.out.println("EXPRESSION: " //print action
    + e.get(0).getText() + ", " //first element
    + e.get(1).getText() //second element
    + ", " + ... + ", " //number of elements
    + e.get(N).getText()); //last element

}

主文件然后跟着步行者走：

ParseTree tree = parser.parse(); //parse the tree

中间插曲：在应用Walker访问模式之前，可以想象树段优化或处理模式。解析的树可以在这里作为源代码树的单独归纳处理。这种方法使得更复杂的代码和树处理模式成为可能。

ParseTreeWalker walker = new ParseTreeWalker(); //get the walker
walker.walk(new ExprWalker(), tree); //start visiting

- Tux the Ravin Penguin

---

不需要创建一个 new ParseTreeWalker()。只需使用 ParseTreeWalker.DEFAULT.walk(...)。 - Sam Harwell