Python中的批量DNS查询？

Question

我有一个脚本以以下方式获取DNS（CNAME，MX，NS）数据：

from dns import resolver
...

def resolve_dns(url):
    response_dict = {}
    print "\nResolving DNS for %s" % (url)

    try: 
        response_dict['CNAME'] = [rdata for rdata in resolver.query(url, 'CNAME')]
    except:
        pass

    try: 
        response_dict['MX'] = [rdata for rdata in resolver.query(url, 'MX')]
    except:
        pass

    try: 
        response_dict['NS'] = [rdata for rdata in resolver.query(url, 'NS')]
    except:
        pass

    return response_dict

该函数按顺序对连续的URL进行调用。如果可能的话，我想通过同时获取多个URL的数据来加快上述过程的速度。

是否有一种方法可以为一批URL完成上述脚本的操作（也许返回一个字典对象列表，每个字典对应于特定URL的数据）？

- Boa

---

如果解析器API不允许批量URI查找，我建议使用线程或多进程。https://dev59.com/oGw05IYBdhLWcg3wfx40#7207336 - Hari

Answer 1

您可以将工作放入线程池中。您的resolve_dns串行执行3个请求，因此我创建了一个稍微更通用的工作者，只执行1个查询，并使用collections.product生成所有组合。在线程池中，我将chunksize设置为1，以减少线程池批处理，这可以增加执行时间，如果某些查询需要很长时间。

import dns
from dns import resolver
import itertools
import collections
import multiprocessing.pool

def worker(arg):
    """query dns for (hostname, qname) and return (qname, [rdata,...])"""
    try:
        url, qname = arg
        rdatalist = [rdata for rdata in resolver.query(url, qname)]
        return qname, rdatalist
    except dns.exception.DNSException, e:
        return qname, []

def resolve_dns(url_list):
    """Given a list of hosts, return dict that maps qname to
    returned rdata records.
    """
    response_dict = collections.defaultdict(list)
    # create pool for querys but cap max number of threads
    pool = multiprocessing.pool.ThreadPool(processes=min(len(url_list)*3, 60))
    # run for all combinations of hosts and qnames
    for qname, rdatalist in pool.imap(
            worker, 
            itertools.product(url_list, ('CNAME', 'MX', 'NS')),
            chunksize=1):
        response_dict[qname].extend(rdatalist)
    pool.close()
    return response_dict

url_list = ['example.com', 'stackoverflow.com']
result = resolve_dns(url_list)
for qname, rdatalist in result.items():
    print qname
    for rdata in rdatalist:
        print '   ', rdata

- tdelaney