ANTLR: 如何跳过多行注释

Question

以下是给定的词法分析器：

lexer grammar CodeTableLexer;

@header {
    package ch.bsource.ice.parsers;
}

CodeTabHeader   : OBracket Code ' ' Table ' ' Version CBracket;
CodeTable       : Code ' '* Table;
EndCodeTable    : 'end' ' '* Code ' '* Table;
Code            : 'code';
Table           : 'table';
Version         : '1.0';
Row             : 'row';
Tabdef          : 'tabdef';
Override        : 'override' | 'no_override';
Obsolete        : 'obsolete';
Substitute      : 'substitute';
Status          : 'activ' | 'inactive';
Pkg             : 'include_pkg' | 'exclude_pkg';
Ddic            : 'include_ddic' | 'exclude_ddic';
Tab             : 'tab';
Naming          : 'naming';
Dfltlang        : 'dfltlang';
Language        : 'english' | 'german' | 'french' | 'italian' | 'spanish';
Null            : 'null';
Comma           : ',';
OBracket        : '[';
CBracket        : ']';

Boolean
    : 'true' 
    | 'false'
    ;

Number
    : Int* ('.' Digit*)?
    ;

Identifier
    : ('a'..'z' | 'A'..'Z' | '_') ('a'..'z' | 'A'..'Z' | '_' | '$' | '#' | '.' | Digit)*
    ;

String
@after {
    setText(getText().substring(1, getText().length() - 1).replaceAll("\\\\(.)", "$1"));
}
    : '"' (~('"'))* '"'
    ;

Comment
    : '--' ~('\r' | '\n')* { skip(); }
    | '/*' .* '*/' { skip(); }
    ;

Space
    : (' ' | '\t') { skip(); }
    ;

NewLine
    : ('\r' | '\n' | '\u000C') { skip(); }
    ;

fragment Int
    : '1'..'9'
    | '0'
    ;

fragment Digit 
    : '0'..'9'
    ;

...以及以下解析器：

parser grammar CodeTableParser;

options {
    tokenVocab = CodeTableLexer;
    backtrack = true;
    output = AST;
}

@header {
   package ch.bsource.ice.parsers;
}

parse
    : block EOF
    ;

block
    : CodeTabHeader^ codeTable endCodeTable
    ;

codeTable
    : CodeTable^ codeTableData
    ;

codeTableData
    : (Identifier^ obsolete?) (tabdef | row)*
    ;

endCodeTable
    : EndCodeTable
    ;

tabdef
    : Tabdef^ Identifier+
    ;

row
    : Row^ rowData
    ;

rowData
    : (Number^ | (Identifier^ (Comma Number)?))
        Override?
        obsolete?
        status?
        Pkg?
        Ddic?
        (tab | field)*
    ;

tab
    : Tab^ value+
    ;

field
    : (Identifier^ value) | naming
    ;

value
    : OBracket? (Identifier | String | Number | Boolean | Null) CBracket?
    ;

naming
    : Naming^ defaultNaming (l10nNaming)*
    ;

defaultNaming
    : Dfltlang^ String
    ;

l10nNaming
    : Language^ String?
    ;

obsolete
    : Obsolete^ Substitute String
    ;

status
    : Status^ Override?
    ;

...最后是我制作解析器不区分大小写的类：

package ch.bsource.ice.parsers;

import java.io.IOException;
import org.antlr.runtime.*;

public class ANTLRNoCaseFileStream extends ANTLRFileStream {

    public ANTLRNoCaseFileStream(String fileName) throws IOException {

        super (fileName, null);
    }

    public ANTLRNoCaseFileStream(String fileName, String encoding) throws IOException {

        super (fileName, null);
    }

    public int LA(int i) {

        if (i == 0) return 0;
        if (i < 0) i++;
        if ((p + 1 - 1) >= n) return CharStream.EOF
        return Character.toLowerCase(data[p + 1 - 1]);
    }
}

在预期的情况下，单行注释被跳过，而多行注释不会...这是我收到的错误信息：

codetable_1.txt line 38:0 mismatched character '<EOF>' expecting '*'
codetable_1.txt line 38:0 mismatched input '<EOF>' expecting EndCodeTable
java.lang.NullPointerException
...

我有什么遗漏吗？有什么需要注意的吗？我正在使用antlr 3.4。

这是我尝试解析的示例源代码：

[code table 1.0]

/*
This is a multi-line comment
*/

code table my_table

-- this is a single-line comment
row 1
    id              "my_id_1"
    name            "my_name_1"
    descn           "my_description_1"
    naming
      dfltlang      "My description 1"
      english       "My description 1"
      german        "Meine Beschreibung 1"

-- this is another single-line comment
row 2
    id              "my_id_2"
    name            "my_name_2"
    descn           "my_description_2"
    naming
      dfltlang      "My description 2"
      english       "My description 2"
      german        "Meine Beschreibung 2"

end code table

任何帮助都将不胜感激 :-)

谢谢， j3d

- j3d

---

你的测试输入是否可能缺少了一个闭合的 */？ - user1201210

Answer 1

使用antlr4实现此功能

BlockComment 
    : '/*' .*? '*/' -> skip
    ;

- bhzag

---

但是如果你有多个注释，它不会删除中间的所有内容吗？像这样：/ * 注释1 这是很长的 * / 一些代码在这里 更多的代码/ * 注释2 * /如果我没记错的话，那个语法规则会跳过中间的代码，因为你定义了一个贪婪的 .*?。 - dleal

@dleal 问号使其变为非贪婪模式；.*将会贪婪匹配。 - Dennie

这个没有正确处理嵌套评论。请参考下面exxjob的回答。 - Michael Amiethyst

Answer 2

Bart给了我惊人的支持，我认为我们都非常感激他 :-)

无论如何，问题出在我用于将解析的字符流转换为小写的FileStream类中的一个错误。下面是正确的Java源代码：

import java.io.IOException;
import org.antlr.runtime.*;

public class ANTLRNoCaseFileStream extends ANTLRFileStream {

    public ANTLRNoCaseFileStream(String fileName) throws IOException {

        super (fileName, null);
    }

    public ANTLRNoCaseFileStream(String fileName, String encoding) throws IOException {

        super (fileName, null);
    }

    public int LA(int i) {

        if (i == 0) return 0;
        if (i < 0) i++;
        if ((p + i - 1) >= n) return CharStream.EOF;
        return Character.toLowerCase(data[p + i - 1]);
    }
}

- j3d

Answer 3

ANTLR4的例子来自于Dart2词法分析器：

BLOCK_COMMENT : '/*' ( BLOCK_COMMENT | . )*? '*/'  -> skip ;

你应该始终考虑嵌套的块注释是否有效，通常它们应该是有效的。

- exxjob

Answer 4

我使用两个规则来跳过行注释和块注释（在解析时为了调试目的而打印它们）。为了更好的可读性，它们被分成两部分，并且块注释支持嵌套注释。

此外，在我的语法中，我不会跳过EOL字符（\r和/或\n），因为我需要它们明确地用于某些规则。

LineComment
    :   '//' ~('\n'|'\r')* //NEWLINE
        {System.out.println("lc > " + getText());
        skip();}
    ;

BlockComment
@init { int depthOfComments = 0;}
    :   '/*' {depthOfComments++;}
        ( options {greedy=false;}
        : ('/' '*')=> BlockComment {depthOfComments++;}
        | '/' ~('*')
        | ~('/')
        )*
        '*/' {depthOfComments--;}
        {
           if (depthOfComments == 0) {
                System.out.println("bc >" + getText());
                skip();
            }
        }
    ;

- Seki

---

看起来OP没有尝试解析嵌套的块注释。但是，按照你现在的方式有点啰嗦。你可以使用谓词或嵌入式代码来完成这个任务。为什么不尝试像这样做呢：BlockComment : '/*' (BlockComment | ('*' ~'/')=> '*' | ~'*')* '*/' ;呢？ - Bart Kiers

@BartKiers，您的建议在ANTLR4上不受支持（可能当时还不存在...）。然而，以下内容可以工作：BLOCKCOMMENT：'/'（BLOCKCOMMENT |（''〜'/'）|〜''） '*/'; - Queeg