用python实现域名资产监控的详细步骤

 更新时间:2021年11月08日 10:35:48   作者:炒鸡辣鸡123  
域名资产监控,通过输入一个主域名,找到该域名对应的ip地址所在的服务器的端口开闭情况,本文重点给大家介绍用python实现域名资产监控的问题,需要的朋友可以参考下

应用场景

域名资产监控,通过输入一个主域名,找到该域名对应的ip地址所在的服务器的端口开闭情况。通过定期做这样的监控,有助于让自己知道自己的资产的整体暴露面情况。

所需要具备的前缀技能

python的简单使用

linux操作系统的简单使用

DNS的原理

工具

pycharm 专业版

xshell 用于部署脚本

步骤

通过域名得到对应的ip地址

首先,我们知道对于一个域名来说,可以设置很多类型的记录值,比如A记录、AAAA记录、SOA记录、TXT记录等等。安全领域常见的记录值和其含义对应关系如下:

代码 描述
A IPv4地址记录
AAAA IPv6地址记录
CNAME 规范名称记录,一个主机名字的别名:
域名系统将会继续尝试查找新的名字
MX 电邮交互记录
NS 名称服务器记录
PTR 最常用来运行反向DNS查找
SOA 权威记录的起始
TXT 文本记录
而我们要用到的就是A记录(目前IPv6用得不广泛)。

通过A记录,获取到一个域名对应的IP地址,用python实现的方法如下:

def dns_a(domain: str):
    dns_servers = '114.114.114.114,114.114.115.115,223.5.5.5,223.6.6.6,180.76.76.76,119.29.29.29,119.29.29.29,1.2.4.8,210.2.4.8,117.50.11.11,52.80.66.66,101.226.4.6,218.30.118.6,123.125.81.6,140.207.198.6,8.8.8.8,8.8.4.4,9.9.9.9,208.67.222.222,208.67.220.220'.split(
        ',')
    loop = asyncio.new_event_loop()
    resolver = aiodns.DNSResolver(loop=loop)
    resolver.nameservers = dns_servers
    try:
        record_a = loop.run_until_complete(resolver.query(domain, 'A'))
        return record_a
    except:
        pass
    return []

在代码中,为每一次查询随机指定了一个dns_server,也就是dns查询服务器,由于收敛的关系,不同的查询服务器结果可能不相同。所以可以考虑做得完善一些,这里只查询了一次,也可以换多个dns服务器查询多次,取并集(并集是不放过所有可能情况,交集是精确但可能漏)。最终该方法就可以实现获取域名对应的ip地址。

这个方法中使用到了asyncio和aiodns两个包,安装方法如下:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn asyncio,aiodns

下面我们以www.mengwa.store为例,看看结果如何:

在这里插入图片描述

可以发现ip地址有了,不过,还需要从结果中进行提取。方法如下:

record_a = dns_a(domain)
ips = []
if type(record_a) == list:
ips = sorted([answer.host for answer in record_a])

这个ips中存储的就是排序后的解析记录ip列表。

对ip地址进行端口扫描

通过上面的步骤找到了ip地址,下一步就是对ip地址进行端口扫描。可在扫描之前,我们还有一个步骤需要做,需要判断当前ip所在的机器是否存活。

可能你立马就想到了ping方法,可是在安全领域,有很多公司都要求服务器将ICMP协议给阻止掉,也就是说,ping方法可能返回超时,但是机器并不一定没有开启,只是主动给你把请求拦截掉了。

这里我们使用nmap的-sPn参数进行扫描,以www.mengwa.store对应的ip地址47.119.137.0为例:

在这里插入图片描述

然后我们通过代码来实现这一逻辑,我们使用python-nmap包,安装步骤如下:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn python-nmap

代码如下:

def check_ip_reachable(ip: str):
    nm = nmap.PortScanner()
    xx = nm.scan(hosts=ip, arguments='-sP') # -sPn也可以
    if 'scan' in xx:
        i = xx.__getitem__('scan')
        if ip in i:
            j = i.__getitem__(ip)
            if 'status' in j:
                status = j['status']
                if 'state' in status:
                    state = status['state']
                    print(ip, state)
                    return state
    print(ip, 'down')
    return 'down'

做这一步的前提是,你本机安装了nmap。

通过这里做判断,如果ip所在机器是开启状态,那么我们就可以对其进行端口扫描了。

代码如下:

# 实现对端口进行扫描,并且返回结果。使用nmap实现
def port_scan(ip: str):
    second = check_ip_reachable(ip)
    if second is not None and second == 'up':
        nm = nmap.PortScanner()
        xx = nm.scan(ip)
        print(nm.command_line())
        ans = []
        if 'scan' in xx:
            i = xx.__getitem__('scan')
            if ip in i:
                j = i.__getitem__(ip)
                if 'tcp' in j:
                    tcp = j['tcp']
                    for port in tcp:
                        ans.append(port)
        ans = sorted(ans)
        return ans
    else:
        write_to_file('output/' + time_now + '/ips.txt', ip + ' 不可达\n')
    return []

nm.command_line()方法可以打印出当前执行的命令行。(本质上这个包就是一个命令行调用包,然后做解析)

以47.119.137.0为例,结果如下:

在这里插入图片描述

这里的方法,使用的是nmap默认扫描的常见端口,如果有需要,也可以通过给Scan方法,加入Ports参数,自定义要扫描的端口,甚至于全端口。

串联起来,实现通过域名到端口监控

def handle_ip(ip: str):
    if not task_ip_set.__contains__(ip):
        try:
            print('ip:' + ip, '开始端口扫描')
            port_result = port_scan(ip)
            val = ''
            print('ip:', ip, '发现端口', port_result)
            for i in port_result:
                val = val + '\n' + ip + "----" + i.__str__()
            write_to_file('output/' + time_now + '/ip_ports.txt', val)
            task_ip_set.add(ip)
        except Exception as e:
            print(e)
            
def handle_domain(domain: str):
    if not task_domain_set.__contains__(domain):
        print('domain:' + domain)
        record_a = dns_a(domain)
        ips = []
        if type(record_a) == list:
            ips = sorted([answer.host for answer in record_a])
        val = ''
        for i in ips:
            val = val + '\n' + domain + "----" + i.__str__()
        write_to_file('output/' + time_now + '/domain_ips.txt', val)
        print(ips)
        for i in ips:
            handle_ip(i)

这里使用了task_domain_set和task_ip_set用于对作用目标进行去重。

那么,到这里我们的任务完成了吗?

没有

子域名发现

如果我的主域名资产有很多二级域名,而我自己又对自己有哪些子域名不清楚,那么这个时候就需要做子域名发现。然后对每一个子域名调用前面的方法,找到其对应的ip开放的端口。

子域名发现一般来说有三种方法:

第一种通过对主域名所在网站进行爬取,从内容中解析出子域名;

第二种通过外部的查询网站获取结果,比如crt、virustotal、fofa等;

第三种通过字典爆破获取结果,通过不断的轮询dns服务器,查询其是否有A记录的值,如果有,则表明该子域名存在,如果没有则暂时认为该子域名不存在。

第一种方法,需要实现一个爬虫,拿到网站的内容后利用正则表达式提取里面的子域名,提取的方法如下:

def get_subdomains(value: str, domain: str):
    x = f'(?P<subdomain>[a-zA-Z0-9.]+{domain})'
    pattern = re.compile(x)
    y = pattern.findall(value)
    ans = set()
    for i in y:
        ans.add(i)
    print(ans)
    return ans

第二种方法,利用接口调用,参见相关的API接口即可。

第三种方法,子域名爆破。核心代码如下

answers = await self.resolvers[j].query(cur_domain, 'A') # 查找A记录
# 如果A记录有值且没有报错,则说明该子域名存在

当你完成上面的步骤,并且去重之后,就可以将这些子域名作为前面步骤的输入。这样,对于用户需要监控的某个主域名而言,监控到的范围就提升了很多。

请勿用于非已有域名的监控,造成的损失与本人无关。以上测试数据均为本人已有域名和ip。

到此这篇关于用python实现域名资产监控的文章就介绍到这了,更多相关python域名资产监控内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • PyCharm无代码提示解决方案

    PyCharm无代码提示解决方案

    最近发现在使用pycharm编写python代码的时候发现没有了代码提示的功能,下面这篇文章主要给大家介绍了关于PyCharm无代码提示解决方案的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-06-06
  • python实现emoji对齐特殊字符对齐高级文本对齐

    python实现emoji对齐特殊字符对齐高级文本对齐

    这篇文章主要为大家介绍了python实现emoji对齐特殊字符对齐高级文本对齐方法实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • Python二进制转化为十进制数学算法详解

    Python二进制转化为十进制数学算法详解

    这篇文章主要介绍了Python二进制转化为十进制数学算法,同时在这里也给大家分享一个好用的内置函数map(),需要的朋友可以参考下
    2023-01-01
  • 学习python分支结构

    学习python分支结构

    在本篇文章中小编给大家分享了关于python分支结构的相关知识点和相关内容,需要的朋友们学习下。
    2019-05-05
  • Python批量查询域名是否被注册过

    Python批量查询域名是否被注册过

    本文给大家分享使用Python批量查询域名是否被注册过,非常不错,具有参考借鉴价值,需要的的朋友参考下吧
    2017-06-06
  • python+django+mysql开发实战(附demo)

    python+django+mysql开发实战(附demo)

    本文主要介绍了python+django+mysql开发实战(附demo),文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • Python中拆分字符串的操作方法

    Python中拆分字符串的操作方法

    这篇文章主要介绍了Python中拆分字符串的操作方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • 浅谈python图片处理Image和skimage的区别

    浅谈python图片处理Image和skimage的区别

    这篇文章主要介绍了浅谈python图片处理Image和skimage的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • Python使用MONGODB入门实例

    Python使用MONGODB入门实例

    这篇文章主要介绍了Python使用MONGODB的方法,实例分析了Python使用MONGODB的启动、安装及使用的相关技巧,需要的朋友可以参考下
    2015-05-05
  • 装上这 14 个插件后,PyCharm 真的是无敌的存在

    装上这 14 个插件后,PyCharm 真的是无敌的存在

    这篇文章主要介绍了装上这 14 个插件后,PyCharm 真的是无敌的存在,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01

最新评论