Python XML解析之DOM

2022-09-15 14:16:56

DOM说明：
DOM：Document Object Model API
DOM是一种跨语言的XML解析机制，DOM把整个XML文件或字符串在内存中解析为树型结构方便访问。
xml.dom.minidom就是DOM在Python中实现，本文主要结合minidom解释DOM架构。

API导入：

from xml.dom.minidom import parse

from xml.dom.minidom import parseString

import xml.dom.minidom

dom和etree是xml package目录下的两个subpackage，minidom和ElementTree是dom和etree下的两个module文件，以.py后缀，其中定义了一系列的类和方法。

Document.documentElement相当于Etree中的tree.getroot()用于获取整个树唯一的根节点

概念解析：

xml.dom中包含以下类： 
1.DOMImplementation

2.Node

Node是最重要的类，XML被解析为一个树，所有的节点都是都是node的子类，这些节点可以是element、comments等等，官网列出的节点类型就有：

ELEMENT_NODE, ATTRIBUTE_NODE, TEXT_NODE, CDATA_SECTION_NODE, ENTITY_NODE, PROCESSING_INSTRUCTION_NODE, COMMENT_NODE,DOCUMENT_NODE, DOCUMENT_TYPE_NODE, NOTATION_NODE，每个节点有一个数字表示，只要是node类型就可以使用node.nodeType来判断他属于哪一种node，例如if child.nodeType==child.ELEMENT_NODE:或者if child.nodeType==1:  --两者等价

3.NodeList --通过getElementsByTagName()方法返回的nodelist，此方法只有element和document两个类有。

4.DocumentType

5.Document --整个XML文件解析树，包含所有element、attribute、comments、text等等，也是node的子类。

6.Element

7.Attr --element的属性,这个类型的node只能由Element.getAttributeNode(attrname)来获取，无法遍历获取，而且其既不是element node的子节点也不是兄弟节点。几乎从无必要获取此节点，直接使用element类的getAttribute(attrname)来得到属性的值即可。

8.Comment --comment节点，表示XML文件注释节点

9.Text  --xml.etree.ElementTree中的text表示的是element中的内容，而这里的text类型表示一个node，这个node可以是element中的data节点也可以是element之间的换行和制表符(\n\t)，如果是element的data内容那么此text是element的唯一子节点，通过childNodes[0].data或firstChild.data获取element内容，如果是换行制表符那么此节点element的兄弟节点。

10.ProcessingInstruction

除node类之外，对于XML解析最重要的就是Document类和Element、text、Comment、Attr等类，前者配合parse()或parseString()将xml文件或字符串在内存中实例化为一个tree（document类型）,后边的类用于对XML树做各种操作和查询。

鉴于几乎所有的可操作对象类都是继承于node类，这里贴一下node的各种属性和方法的链接：

另外再列出node一些常见的属性和方法：

Node.nodeType  --详见上边对Node类的解释

Node.attributes  --只有element类型的node才有此属性

Node.childNodes

--返回节点的子节点nodelist，与通过getElementsByTagName()获取nodelist的区别在于此方法只返回直接子节点而非全部子节点，此外这两个方法的最大区别是：childNodes返回的是所有子节点的集合，而getElementsByTagName(tagName)必须指定tagName。

Node.previousSibling --node的左兄弟节点，如果没有则返回none

Node.nextSibling --node的右兄弟节点，如果没有则返回none

Node.nodeName --不常用，因为继承于node的各种类都有自己的更便于识别的name属性，例如element.tagName

Node.appendChild(newChild)
另：如果要熟练的使用minidom API，那么请务必将https://docs.python.org/2/library/xml.dom.html 熟读，以上列出的各种继承于node的类都有一些自己独特的属性和方法，除了熟悉node类之外，熟悉这些继承子类的方法也是很有必要的。

XML文件解析示例：

--有一个如下的XML文件：proxool.xml：

<?xml version="1.0" encoding="utf-8"?>

<something-else-entirely>

    <proxool>

        <alias>myPool</alias>

            <!-- mysql 连接配置，注意修改database_hostname为相应的数据库主机名、或IP地址 -->

         <driver-url>

            jdbc:mysql://dbsrv:3306/TEST?useUnicode=true&characterEncoding=UTF8

        </driver-url>

        <driver-class>com.mysql.jdbc.Driver</driver-class>

        <!-- 用户名、密码 -->

        <driver-properties>

            <property name="user" value="leo" />

            <property name="password" value="leo" />

        </driver-properties>

        <!--自动侦察各个连接状态的时间间隔(毫秒),侦察到空闲的连接就马上回收,超时的销毁 -->

        <house-keeping-sleep-time>30000</house-keeping-sleep-time>

        <house-keeping-test-sql>select CURRENT_DATE from dual

        </house-keeping-test-sql>

        <!--最大连接数(默认5个),超过了这个连接数,再有请求时,就排在队列中等候,最大的等待请求数由maximum-new-connections决定 -->

        <maximum-connection-count>120</maximum-connection-count>

        <!--最小连接数(默认2个) -->

        <minimum-connection-count>5</minimum-connection-count>

        <!--没有空闲连接可以分配而在队列中等候的最大请求数,超过这个请求数的用户连接就不会被接受,该参数已经不建议使用，由simultaneous-build-throttle替代 -->

        <!--一个活动连接最大活动时间默认5分钟 -->

        <maximum-active-time>3600000</maximum-active-time>

        <!--最少保持的空闲连接数(默认2个)，如果当前的连接池中的可用连接少于这个数值, 新的连接将被建立 -->

        <prototype-count>5</prototype-count>

        <!--可一次建立的最大连接数 -->

        <simultaneous-build-throttle>20</simultaneous-build-throttle>

        <!--如果为true,那么每个被执行的SQL语句将会在执行期被log记录 -->

        <trace>false</trace>

    </proxool>

</something-else-entirely>

现在将其中的内容解析为如下格式：

*****

描述：最大连接数(默认5个),超过了这个连接数,再有请求时,就排在队列中等候,最大的等待请求数由maximum-new-connections决定

配置项：maximum-connection-count

配置值：120

*****

描述：xxx

配置项：xxx

配置值：xxx

*****

......

代码如下：

# -*- coding:utf-8 -*-

# 本脚本适用于Python2和3

from xml.dom.minidom import parse

import xml.dom.minidom

import sys

# file = sys.argv[1]

file = "/root/proxool.xml"

# 先写一个判断节点是否包含element类型子节点的判断函数

def has_element_child(nodename):

    has_element_child = 0

    for child in nodename.childNodes:

        if child.nodeType==1:

            has_element_child += 1

    return has_element_child

# 定义解析示例XML文件的方法

def parse_xml(file):

    if not file:

        sys.exit(0)

    tree = parse(file) # document类型的解析树

    root = tree.getElementsByTagName('proxool')[0] # 将父节点定位到proxool element

    for child in root.childNodes:

        if child.nodeType==child.ELEMENT_NODE and has_element_child(child)==0: # 当node为element类型,且无element类型的子节点时

            print u'配置项'+": %s" % child.tagName

            print u'配置值'+": %s" % child.firstChild.data.strip()

        elif child.nodeType==child.ELEMENT_NODE and has_element_child(child)>0: # 当节点包含element类型子节点时

            for child_child in child.childNodes:

                if child_child.nodeType==child.ELEMENT_NODE:

                    print u'配置项'+": %s" % child_child.getAttribute('name')

                    print u'配置值'+": %s" % child_child.getAttribute('value')

        elif child.nodeType==child.COMMENT_NODE: # 当node为comment类型时

            print "*****"

            print u'描述'+": %s" % child.data

        else:

            pass

# 处理示例XML文件

parse_xml(file)

XML文件比较修改示例：

minidom相比于DOM API最大的差别就是添加了node.writexml()、node.toprettyxml()等方法，这两个方法可以将你对XML解析树作出的修改写入文件中，现在我们将proxool.xml copy到proxool.xml.new中，并在proxool节点下添加一个子节点<new_tag name="Leo">For_Test</new_tag>，我们要比较新XML文件中比旧XML文件新增的配置项，对旧XML的配置项不做修改，代码如下： 
# -*- coding:utf-8 -*-

# 本脚本适用于Python2和3

from xml.dom.minidom import parse

import xml.dom.minidom

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

old_file = sys.argv[1]

new_file = sys.argv[2]

# 先写一个判断节点是否包含element类型子节点的判断函数

def has_element_child(nodename):

    has_element_child = 0

    for child in nodename.childNodes:

        if child.nodeType==1:

            has_element_child += 1

    return has_element_child

# 定义解析示例XML文件的方法

def match_xml(old_file,new_file):

    if not new_file:

        sys.exit(0)

    tree_old = parse(old_file) # document类型的解析树

    tree_new = parse(new_file)

    root_old = tree_old.getElementsByTagName('proxool')[0] # 将父节点定位到proxool

    root_new = tree_new.getElementsByTagName('proxool')[0]

    old_dict = {} # 定义旧XML文件的tag和data的字典

    new_dict = {}

    for child in root_old.childNodes: #将tagName和data存入old_dict{}中

        if child.nodeType==child.ELEMENT_NODE and has_element_child(child)==0: # 当node为element类型,且无element类型的子节点时

            old_dict[child.tagName] = child.firstChild.data.replace("\n", "").replace("\t", "")

    for child in root_new.childNodes:

        if child.nodeType==child.ELEMENT_NODE and has_element_child(child)==0:

            new_dict[child.tagName] = child.firstChild.data.replace("\n", "").replace("\t", "")

    for tag,data in new_dict.items():

        if not old_dict.get(tag):  # 当旧XML中找不到对应的tag时,进行tag新增操作

            new_element=tree_new.getElementsByTagName(tag)

            for child in new_element:

                root_old.appendChild(child) # 新增element节点

    with open('proxool_modified.xml','w') as f:

        tree_old.writexml(f)

        f.close

# 处理示例XML文件

match_xml(old_file,new_file)

--比较XML文件：

# python xml_match_dom.py proxool.xml proxool.xml.new

--然后就可以在proxool_modified.xml中看到新的XML内容了
上一篇：C#实现无边框窗体点击任务栏图标正常最小化和还原


下一篇：(Concurrent)HashMap的存储过程及原理。