使用Python解析包含多个根元素的XML文件

Question

我有一个XML文件，需要提取其中一些标签以便后续使用，这些标签包含如下数据：

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank>1</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank>4</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
    <country name="Panama">
        <rank>68</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>
<?xml version="1.0"?>
<data>
    <country name="Liechtenstein1">
        <rank>1</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria1" direction="E"/>
        <neighbor name="Switzerland1" direction="W"/>
    </country>
    <country name="Singapore">
        <rank>4</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia1" direction="N"/>
    </country>
    <country name="Panama">
        <rank>68</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>

我需要解析这个，所以我使用了：

import xml.etree.ElementTree as ET
tree = ET.parse("myfile.xml")
root = tree.getroot()

这段代码在第二行报错：xml.etree.ElementTree.ParseError: junk after document element:

我认为是由于有多个XML标签导致的，你有什么建议吗？应该如何解析它？

- ggupta

---

我有一个XML文件... 不，你没有。这个文件来自哪里？有没有可能在那一端解决这个问题？（解析它不应该太难，但如果有任何避免第一次出现无效XML的方法，那将是更好的选择。） - user94559

一起它不是一个有效的XML文件。但是你可以在 <?xml version="1.0"?> 之前将其拆分，并单独解析这些部分。 - Klaus D.

@smarx，“is there a possibility..” 这句话是什么意思？我只是从文件中提供了一些样本数据，还有很多类似这样的根元素... @KlausD. 正在寻找更好的选项。 - ggupta

@ggupta 我的意思是你能控制创建该文件的应用程序吗？你能修复它以生成有效的XML吗？ - user94559

@smarx，我不控制这个应用程序，我只是一个终端用户，似乎没有任何解决方案适用于我。 - ggupta

然后只需在“<?xml ...”行上拆分文件，并单独解析每个部分（现在是有效的XML文档）。 - user94559

Answer 1

我使用了一个简单的技巧来解析这种伪XML（对于Wazuh规则文件，可以参考Wazuh rule files） - 只需将其暂时包装在一个虚假元素<whatever></whatever>中，从而形成一个覆盖所有这些“根”的单个根。

在您的情况下，与其拥有无效的XML如下：

<data> ... </data>
<data> ... </data>

在将其传递给解析器之前，暂时将其重写为：

<whatever>
    <data> ... </data>
    <data> ... </data>
</whatever>

然后您像往常一样解析它，并迭代<data>元素。

import xml.etree.ElementTree as etree
import pathlib

file = Path('rules/0020-syslog_rules.xml')
data = b'<rules>' + file.read_bytes() + b'</rules>'
etree.fromstring(data)
etree.findall('group')
... array of Elements ...

- kravietz

---

这就是方法 - itg-dave

Answer 2

这段代码填写了一个方法的详细信息，如果您需要的话。

代码会监听 'accumulated_xml' 直到遇到另一个xml文档的开始或文件的结尾。当它有一个完整的xml文档时，它会调用'display'来使用'lxml'库解析文档并报告其中一些内容。

>>> from lxml import etree
>>> def display(alist):
...     tree = etree.fromstring(''.join(alist))
...     for country in tree.xpath('.//country'):
...         print(country.attrib['name'], country.find('rank').text, country.find('year').text)
...         print([neighbour.attrib['name'] for neighbour in country.xpath('neighbor')])
... 
>>> accumulated_xml = []
>>> with open('temp.xml') as temp:
...     while True:
...         line = temp.readline()
...         if line:
...             if line.startswith('<?xml'):
...                 if accumulated_xml:
...                     display (accumulated_xml)
...                     accumulated_xml = []
...             else:
...                 accumulated_xml.append(line.strip())
...         else:
...             display (accumulated_xml)
...             break
... 
Liechtenstein 1 2008
['Austria', 'Switzerland']
Singapore 4 2011
['Malaysia']
Panama 68 2011
['Costa Rica', 'Colombia']
Liechtenstein1 1 2008
['Austria1', 'Switzerland1']
Singapore 4 2011
['Malaysia1']
Panama 68 2011
['Costa Rica', 'Colombia']

- Bill Bell

---

谢谢，我刚刚也在使用相同的方法，不知道为什么没有相应的Python库。 - ggupta

每当我使用这种文件分割方式时，我都认为在Python中表达它的更好方法必定存在。 - Bill Bell

Answer 3

问题: ... 你有什么想法，我该如何解析这个？

过滤整个文件并将其分割成有效的 <?xml ... 片段。
创建 myfile_01, myfile_02 ... myfile_nn 文件。

n = 0
out_fh = None
with open('myfile.xml') as in_fh:
    while True:
        line = in_fh.readline()
        if not line: break

        if line.startswith('<?xml'):
            if out_fh:
                out_fh.close()
            n += 1
            out_fh = open('myfile_{:02}'.format(n))

        out_fh.write(line)

    out_fh.close()

如果您想要将所有的放在一个XML树中：

import re
from xml.etree import ElementTree as ET

with open('myfile.xml') as fh:
    root = ET.fromstring('<?xml version="1.0"?><data>{}</data>'.
                         format(''.join(re.findall('<country.*?</country>', fh.read(), re.S)))
                                )

已测试 Python 版本：3.4.2

- stovfl

---

感谢您的建议，我采用了相同的方法。谢谢。 - ggupta

我只是在寻找解析文件的方法，而不是特定的标签，你之前的回答对我很有帮助，感谢你的修改。 - ggupta