《Django REST framework 入门到精通》视频课程上线了,全网稀缺资源,深度源码剖析,进阶高手之路!点击链接查看详情

4.收集Windows数据

阅读: 20276     评论:42

一、windows中收集硬件信息

为了收集运行Windows操作系统的服务器的硬件信息,我们需要编写一个专门的脚本。

在Pycharm的Client目录下的plugins包中,新建一个collect_windows_info.py文件,写入下面的代码:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import platform
import win32com
import wmi

"""
本模块基于windows操作系统,依赖wmi和win32com库,需要提前使用pip进行安装,
pip install wmi
pip install pypiwin32
或者下载安装包手动安装。
"""


class Win32Info(object):

    def __init__(self):
        # 固定用法,更多内容请参考模块说明
        self.wmi_obj = wmi.WMI()
        self.wmi_service_obj = win32com.client.Dispatch("WbemScripting.SWbemLocator")
        self.wmi_service_connector = self.wmi_service_obj.ConnectServer(".", "root\cimv2")

    def collect(self):
        data = {
            'os_type': platform.system(),
            'os_release': "%s %s  %s " % (platform.release(), platform.architecture()[0], platform.version()),
            'os_distribution': 'Microsoft',
            'asset_type': 'server'
        }

        # 分别获取各种硬件信息
        data.update(self.get_cpu_info())
        data.update(self.get_ram_info())
        data.update(self.get_motherboard_info())
        data.update(self.get_disk_info())
        data.update(self.get_nic_info())
        # 最后返回一个数据字典
        return data

    def get_cpu_info(self):
        """
        获取CPU的相关数据,这里只采集了三个数据,实际有更多,请自行选择需要的数据
        :return:
        """
        data = {}
        cpu_lists = self.wmi_obj.Win32_Processor()
        cpu_core_count = 0
        for cpu in cpu_lists:
            cpu_core_count += cpu.NumberOfCores

        cpu_model = cpu_lists[0].Name   # CPU型号(所有的CPU型号都是一样的)
        data["cpu_count"] = len(cpu_lists)      # CPU个数
        data["cpu_model"] = cpu_model
        data["cpu_core_count"] = cpu_core_count  # CPU总的核数

        return data

    def get_ram_info(self):
        """
        收集内存信息
        :return:
        """
        data = []
        # 这个模块用SQL语言获取数据
        ram_collections = self.wmi_service_connector.ExecQuery("Select * from Win32_PhysicalMemory")
        for ram in ram_collections:    # 主机中存在很多根内存,要循环所有的内存数据
            ram_size = int(int(ram.Capacity) / (1024**3))  # 转换内存单位为GB
            item_data = {
                "slot": ram.DeviceLocator.strip(),
                "capacity": ram_size,
                "model": ram.Caption,
                "manufacturer": ram.Manufacturer,
                "sn": ram. SerialNumber,
            }
            data.append(item_data)  # 将每条内存的信息,添加到一个列表里

        return {"ram": data}    # 再对data列表封装一层,返回一个字典,方便上级方法的调用

    def get_motherboard_info(self):
        """
        获取主板信息
        :return:
        """
        computer_info = self.wmi_obj.Win32_ComputerSystem()[0]
        system_info = self.wmi_obj.Win32_OperatingSystem()[0]
        data = {}
        data['manufacturer'] = computer_info.Manufacturer
        data['model'] = computer_info.Model
        data['wake_up_type'] = computer_info.WakeUpType
        data['sn'] = system_info.SerialNumber
        return data

    def get_disk_info(self):
        """
        硬盘信息
        :return:
        """
        data = []
        for disk in self.wmi_obj.Win32_DiskDrive():     # 每块硬盘都要获取相应信息
            disk_data = {}
            interface_choices = ["SAS", "SCSI", "SATA", "SSD"]
            for interface in interface_choices:
                if interface in disk.Model:
                    disk_data['interface_type'] = interface
                    break
            else:
                disk_data['interface_type'] = 'unknown'

            disk_data['slot'] = disk.Index
            disk_data['sn'] = disk.SerialNumber
            disk_data['model'] = disk.Model
            disk_data['manufacturer'] = disk.Manufacturer
            disk_data['capacity'] = int(int(disk.Size) / (1024**3))
            data.append(disk_data)

        return {'physical_disk_driver': data}

    def get_nic_info(self):
        """
        网卡信息
        :return:
        """
        data = []
        for nic in self.wmi_obj.Win32_NetworkAdapterConfiguration():
            if nic.MACAddress is not None:
                nic_data = {}
                nic_data['mac'] = nic.MACAddress
                nic_data['model'] = nic.Caption
                nic_data['name'] = nic.Index
                if nic.IPAddress is not None:
                    nic_data['ip_address'] = nic.IPAddress[0]
                    nic_data['net_mask'] = nic.IPSubnet
                else:
                    nic_data['ip_address'] = ''
                    nic_data['net_mask'] = ''
                data.append(nic_data)

        return {'nic': data}


if __name__ == "__main__":
    # 测试代码
    data = Win32Info().collect()
    for key in data:
        print(key, ":", data[key])

windows中没有方便的命令可以获取硬件信息,但是有额外的模块可以帮助我们实现目的,这个模块叫做wmi。可以使用pip install wmi的方式安装,当前版本是1.4.9。但是wmi安装后,import wmi依然会出错,因为它依赖一个叫做win32com的模块。

我们依然可以通过pip install pypiwin32来安装win32com模块,但是不幸的是,据反映,有些机器无法通过pip成功安装。所以,这里我在github中提供了一个手动安装包pywin32-220.win-amd64-py3.5(配合wmi模块,获取主机信息的模块).exe,方便大家。(如果版本不兼容,也可以自行在网上搜索。)

依赖包的问题解决后,我们来看一下sys_info.py脚本的代码。

  • 类Win32Info封装了具体数据收集逻辑
  • 其中对Win32模块的调用方式是固定的,有兴趣的可以自行学习这个模块的官方文档
  • 核心在于collect方法,它汇总了其它方法收集的信息!
  • collect方法首先通过platform模块获取平台的信息,然后保存到一个data字典中。
  • 分别调用其它方法,获取CPU、RAM、主板、硬盘和网卡的信息。
  • 每一类数据收集完成后都会作为一个新的字典,update到开始的data字典中,最终形成完整的信息字典。
  • 最后在脚本末尾有一个测试入口。

整个脚本的代码其实很简单,我们只要将Win32的方法调用当作透明的空气,剩下的不过就是将获得的数据,按照我们指定的格式打包成一个数据字典。

强调:数据字典的格式和键值是非常重要的,是预设的,不可以随意改变!

二、信息收集测试

下面,单独运行一下该脚本(注意不是运行CMDB项目),查看一下生成的数据。为了显示更直观,可以通过在线json校验工具格式化一下。

{
os_type': 'Windows',
'os_release': '764bit6.1.7601',
'os_distribution': 'Microsoft',
'asset_type': 'server',
'cpu_count': 1,
'cpu_model': 'Intel(R)Core(TM)i5-2300CPU@2.80GHz',
'cpu_core_count': 4,
'ram': [
    {
        'slot': 'A0',
        'capacity': 4,
        'model': 'PhysicalMemory',
        'manufacturer': '',
        'sn': ''
    },
    {
        'slot': 'A1',
        'capacity': 4,
        'model': 'PhysicalMemory',
        'manufacturer': '',
        'sn': ''
    }
],
'manufacturer': 'GigabyteTechnologyCo.,
Ltd.',
'model': 'P67X-UD3R-B3',
'wake_up_type': 6,
'sn': '00426-OEM-8992662-12006',
'physical_disk_driver': [
    {
        'iface_type': 'unknown',
        'slot': 0,
        'sn': '3830414130423230233235362020202020202020',
        'model': 'KINGSTONSV100S264GATADevice',
        'manufacturer': '(标准磁盘驱动器)',
        'capacity': 59
    },
    {
        'iface_type': 'unknown',
        'slot': 1,
        'sn': '2020202020202020201020205935334445414235',
        'model': 'ST2000DL003-9VT166ATADevice',
        'manufacturer': '(标准磁盘驱动器)',
        'capacity': 1863
    }
],
'nic': [
    {
        'mac': '24: CF: 92: FF: 48: 34',
        'model': '[
            00000011
        ]RealtekRTL8192CUWirelessLAN802.11nUSB2.0NetworkAdapter',
        'name': 11,
        'ip_address': '192.168.1.100',
        'net_mask': ('255.255.255.0',
        '64')
    },
    {
        'mac': '0A: 00: 27: 00: 00: 00',
        'model': '[
            00000013
        ]VirtualBoxHost-OnlyEthernetAdapter',
        'name': 13,
        'ip_address': '192.168.56.1',
        'net_mask': ('255.255.255.0',
        '64')
    },
    {
        'mac': '24: CF: 92: FF: 48: 34',
        'model': '[
            00000017
        ]MicrosoftVirtualWiFiMiniportAdapter',
        'name': 17,
        'ip_address': '',
        'net_mask': ''
    },
    {
        'mac': '10: 19: 86: 00: 12: 98',
        'model': '[
            00000018
        ]Bluetooth设备(个人区域网)',
        'name': 18,
        'ip_address': '',
        'net_mask': ''
    }
]
}

上面的信息包含操作系统、主板、CPU、内存、硬盘、网卡等各种信息。可以看到我有两条内存,两块硬盘,以及4块网卡。内存没有获取到sn,但slot是不一样的。硬盘有sn,但接口未知。四块网卡有出现mac地址相同的情况,因为那是虚拟机的。

你的数据和我的肯定不一样,但是数据格式和键值必须一样,我们后面自动分析数据、填充数据,都依靠这个固定格式的数据字典。

通过测试我们发现数据可以收集到了,那么再测试一下数据能否正常发送到服务器。

三、数据发送测试

由于后面我们还会采用Linux虚拟机作为测试用例,所以Django服务器就不能再运行在127.0.0.1:8000上面了。

查看一下当前机器的IP,发现是192.168.0.100,修改项目的settings.py文件,将ALLOWED_HOSTS修改如下:

ALLOWED_HOSTS = ["*"]

这表示接收所有同一局域网内的网络访问。

然后以0.0.0.0:8000的参数启动CMDB项目服务器,表示对局域网内所有ip开放服务。

回到客户端,进入Client/bin目录,运行python main.py report_data,可以看到如下结果:

(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.0.100:8000/assets/report/]  ......
?[31;1m发送失败,错误原因: HTTP Error 404: Not Found?[0m
日志记录成功!

这是一个404错误,表示服务器地址没找到,这是因为我们还没有为Django编写接收数据的视图和路由。

这时,打开log目录下的日志文件,内容如下:

发送时间:2019-04-12 10:13:52     服务器地址:http://192.168.0.100:8000/assets/report/      返回结果:发送失败   错误原因:  HTTP Error 404: Not Found 

四、接收数据

进入cmdb/urls.py文件中,编写一个二级路由,将所有assets相关的数据都转发到assets.urls中,如下所示:

from django.contrib import admin
from django.urls import path
from django.urls import include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('assets/', include('assets.urls')),
]

然后,我们在assets中新建一个urls.py文件,写入下面的代码:

from django.urls import path
from assets import views

app_name = 'assets'

urlpatterns = [
    path('report/', views.report, name='report'),
]

这样,我们的路由就写好了。

转过头,我们进入assets/views.py文件,写一个简单的视图。

from django.shortcuts import render
from django.shortcuts import HttpResponse

# Create your views here.

def report(request):    
    if request.method == "POST":
        asset_data = request.POST.get('asset_data')
        print(asset_data)
        return HttpResponse("成功收到数据!")

代码很简单,接收POST过来的数据,打印出来,然后返回成功的消息。

重新启动服务器,然后去Client客户端运行python main.py report_data,可以看到:

(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.0.100:8000/assets/report/]  ......
?[31;1m发送失败,错误原因: HTTP Error 403: Forbidden?[0m
日志记录成功!

403就是拒绝服务的错误了。

原因在于我们模拟浏览器发送了一个POST请求给Django,但是请求中没有携带Django需要的csrf安全令牌,所以拒绝了请求。

为了解决这个问题,我们需要在这个report视图上忽略csrf验证,可以通过Django的@csrf_exempt装饰器。修改代码如下:

from django.shortcuts import render
from django.shortcuts import HttpResponse
from django.views.decorators.csrf import csrf_exempt

# Create your views here.

@csrf_exempt
def report(request):
    if request.method == "POST":
        asset_data = request.POST.get('asset_data')
        print(asset_data)
        return HttpResponse("成功收到数据!")

重启CMDB服务器,再次从客户端报告数据,可以看到返回结果如下:

(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.0.100:8000/assets/report/]  ......
?[31;1m发送完毕!?[0m
返回结果:成功收到数据!
日志记录成功!

这表明数据发送成功了。

再看Pycharm中,也打印出了接收到的数据,一切OK!

CSRF验证的问题解决了,但是又带来新的安全问题。我们可以通过增加用户名、密码,或者md5验证或者自定义安全令牌的方式解决,这部分内容需要大家自己添加。

Windows下的客户端已经验证完毕了,然后我们就可以通过各种方式让脚本定时运行、收集和报告数据,一切都自动化。


 3.数据收集客户端 5.Linux下收集数据 

评论总数: 42


点击登录后方可评论

user_image

AttributeError: 'Win32Info' object has no attribute 'wmi_obj',哪位大神告诉我下,为什么提示没有属性'wmi_obj', 我在 def __int__(self): # 固定用法,更多内容请参考模块说明 self.wmi_obj = wmi.WMI() 我在__init__中已经写了啊



user_image

博主,mac下载不了pypi32win 有其他的可以代替它吗



user_image

pypi32win是windows操作系统下使用的工具,所以本教程不支持管理mac主机。 如果你只是想在mac系统中下载这个文件本身,那么我的github中提供了这个工具原文件。



user_image

我的报错正在讲数据发送至:[http://192.168.10.40:8000/assets/report/] ...... ?[31; 1m发送失败,错误原因:<urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。>?[0m 日志记录成功



user_image

在开篇处,我就提示过,这个项目和你的本地环境关联很大,比如这种目标计算机拒绝的问题。出现这种情况,更多的是端口未开放、防火墙、网络链接设置等原因,和Django关系不大。



user_image

mac下载win32总是不成功



user_image

此处获取设备SN号使用self.wmi_obj.Win32_BaseBoard()[0].SerialNumber.strip()更合理,获取到的SN才是主板上显示的正确SN。



user_image

python main.py report_data 正在将数据发送至: [http://127.0.0.1:8000/assets/report/] ...... ?[31;1m发送失败,错误原因: HTTP Error 500: Internal Server Error?[0m 日志记录成功! 我的出现的是500,不知道那块出错了



user_image

你好,我也遇到这个问题,你怎么解决的呀



user_image

老师,我的电脑并没有装虚拟机,这个环节该如何测试,是要先去装一个虚拟机吗,还有我的django也是2.1.7版本的,前面的步骤没问题,都调好了,就是发送数据这一直是 10060类型错误



user_image

我用的是django2.1.3的,那个路由配的挺蒙蔽了,就是一直发送成功,接受失败。



user_image

CMDB系统是部署在A服务器上,那么客户端CLIENT是需要部署在B服务器上吗?那就意味着每台需要被采集数据的服务器都要安装PYTHON及所用到的包?



user_image

你可能觉得这很麻烦,工作量太大。换个思维想,即使你不装Python,你也要装别的工具来采集和发送数据到CMDB,不然,数据从哪来?另外,对于运维人员,批量安装环境和软件是基本功,不是什么太难的问题。



user_image

我现在CLIENT和CMDB是装在同一台机器上(windows),conf.settings的配置的server地址为本机IP地址,端口80也是打开的,但是在terminal执行python main.py report_data会返回 HTTP Error 401: Unauthorized , terminal完整的返回是这个下面这段。本地机器是没有设置用户名密码的。 正在将数据发送至: [http://10.2.x.x:80/assets/report/] ...... ?[31;1m发送失败,HTTP Error 401: Unauthorized?[0m 日志记录成功!



user_image

跟楼主一样的情况 F:\Program Files (x86)\cmdb\Client\bin>python main.py report_data 正在将数据发送至: [http://192.168.1.100:8000/assets/report/] ...... ?[31;1m发送失败,<urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。>?[0m 日志记录成功!



user_image

你的这个问题好了吗? 什么问题



user_image

conf.settings.py文件内设置本机的IP~



user_image

设置了但还是拒绝



user_image

你的问题解决了吗



user_image

我想问下你的意思是我把这个windows下完全一样的代码项目从新部署在虚拟机上吗,然后再虚拟机上启动服务器0.0.0.0:8000,然后回到Windows系统去client/bin的目录下在虚拟环境中去执行python main.py report_data是这么个流程吗? 我的报错信息是10060 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败



user_image

可以把收集Windows信息的python脚本连同pywin32这些一起打包成exe可执行文件,就不用在每个机器上都装python了,昨天试了可以的。



user_image

from win32com.client import Dispatch, constants 我安装win32com了,可是pycharm导入的时候,Dispatch还是显示没找到



user_image

我在安装了 pywin32-223.win-amd64-py3.7 , 也 pip install pypiwin32 pip install wmi 了, 不知道为什么,import wmi 还是出错



user_image

原来是我的的 virtualenv 搞混了。env上没装。



user_image

博主,您好!当项目以其他IP运行后,发送post请求会提示目标拒绝,感觉应该是身份验证出现了问题,请问这块如何验证呢,另外能否讲一下post请求时,如何做csrf验证。



user_image

另外,基础的csrf知识请参考教程里相关章节



user_image

我确认我已经安装了pywin32了。 并且在sys_info.py 文件中 import win32com 和import wmi 没有报错,什么原因呢?



user_image

额,大意了,打错包名了



user_image

执行python main.py collect_data只能获取到本地计算机的硬件信息,怎么才能获取到局域网所有服务器的硬件信息



user_image

每个主机放一个agent不就可以了嘛,当然也可以自已写一些协议去广播,但是需要原始系统有一定的支持



user_image

正在将数据发送至:[http:// 10.200.11.199:8000/assets/report/] ...... ?[31;1m发送失败,<urlopen error [Errno 11001] getaddrinfo failed>?[0m 日志记录成功!



user_image

检查下handler.py的里面url = "http://%s:%s%s"这行



user_image

怎么让core下边的红线消失啊,虽然可以运行,但是看着不舒服from core import handler



user_image

我python3.6,django.1.11 首先CLINET包我放在CMDB包里引用不太正确,我就放桌面了.然后PIP下不了WMI,就去官网下了wmi,然后再用命令行python install setup装好总算成功了,获取了本地的电脑信息.然后再打开另外一个Pycharm打开了CMDB,用命令行启动0:0:0:0:8000服务器,再运行那个才CLIENT成功了- -



user_image

如果在同一主机上测试,则启动Django服务。



user_image

你怎么测试的,我的版本信息是python3.7.3 pypiwin32 223 wmi1.4.9 django2.1.7 然后按教程上的配置,我测试出来一直是 31;1m发送失败,<urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>?[0m



user_image

发送失败,HTTP Error 500: Internal Server Error



user_image

我也是500错误,没搞明白



user_image

后台还有一个进程在跑 杀掉 就可以了



user_image

Python3.6 Django1.11.5 >pip install win32com Collecting win32com Could not find a version that satisfies the requirement win32com (from versions: ) No matching distribution found for win32com



user_image

我们依然可以通过pip install pypiwin32来安装win32com模块,但是不幸的是,据反映,有些机器无法通过pip成功安装。所以,这里我在github中提供了一个手动安装包pywin32-220.win-amd64-py3.5(配合wmi模块,获取主机信息的模块).exe,方便大家。



user_image

数据发送部分,通过urllib发送不成功,提示404找不到路径,但是路径设置时正常的, 换成requests.post 提交就ok,又遇到这样的情况吗?