4.Windows下收集数据

阅读: 3671


一、windows中收集硬件信息

为了收集运行Windows操作系统的服务器的硬件信息,我们需要编写一个专门的脚本。

在Pycharm的Client目录下的plugins包中,新建一个windows包,然后创建一个sys_info.py文件,写入下面的代码:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import platform
import win32com
import wmi

"""
本模块基于windows操作系统,依赖wmi和win32com库,需要提前使用pip进行安装,
或者下载安装包手动安装。
"""


def collect():
    data = {
        'os_type': platform.system(),
        'os_release': "%s %s  %s " % (platform.release(), platform.architecture()[0], platform.version()),
        'os_distribution': 'Microsoft',
        'asset_type': 'server'
    }

    # 分别获取各种硬件信息
    win32obj = Win32Info()
    data.update(win32obj.get_cpu_info())
    data.update(win32obj.get_ram_info())
    data.update(win32obj.get_motherboard_info())
    data.update(win32obj.get_disk_info())
    data.update(win32obj.get_nic_info())
    # 最后返回一个数据字典
    return data


class Win32Info(object):

    def __init__(self):
        # 固定用法,更多内容请参考模块说明
        self.wmi_obj = wmi.WMI()
        self.wmi_service_obj = win32com.client.Dispatch("WbemScripting.SWbemLocator")
        self.wmi_service_connector = self.wmi_service_obj.ConnectServer(".", "root\cimv2")

    def get_cpu_info(self):
        """
        获取CPU的相关数据,这里只采集了三个数据,实际有更多,请自行选择需要的数据
        :return:
        """
        data = {}
        cpu_lists = self.wmi_obj.Win32_Processor()
        cpu_core_count = 0
        for cpu in cpu_lists:
            cpu_core_count += cpu.NumberOfCores

        cpu_model = cpu_lists[0].Name   # CPU型号(所有的CPU型号都是一样的)
        data["cpu_count"] = len(cpu_lists)      # CPU个数
        data["cpu_model"] = cpu_model
        data["cpu_core_count"] = cpu_core_count  # CPU总的核数

        return data

    def get_ram_info(self):
        """
        收集内存信息
        :return:
        """
        data = []
        # 这个模块用SQL语言获取数据
        ram_collections = self.wmi_service_connector.ExecQuery("Select * from Win32_PhysicalMemory")
        for item in ram_collections:    # 主机中存在很多根内存,要循环所有的内存数据
            ram_size = int(int(item.Capacity) / (1024**3))  # 转换内存单位为GB
            item_data = {
                "slot": item.DeviceLocator.strip(),
                "capacity": ram_size,
                "model": item.Caption,
                "manufacturer": item.Manufacturer,
                "sn": item. SerialNumber,
            }
            data.append(item_data)  # 将每条内存的信息,添加到一个列表里

        return {"ram": data}    # 再对data列表封装一层,返回一个字典,方便上级方法的调用

    def get_motherboard_info(self):
        """
        获取主板信息
        :return:
        """
        computer_info = self.wmi_obj.Win32_ComputerSystem()[0]
        system_info = self.wmi_obj.Win32_OperatingSystem()[0]
        data = dict()
        data['manufacturer'] = computer_info.Manufacturer
        data['model'] = computer_info.Model
        data['wake_up_type'] = computer_info.WakeUpType
        data['sn'] = system_info.SerialNumber
        return data

    def get_disk_info(self):
        """
        硬盘信息
        :return:
        """
        data = []
        for disk in self.wmi_obj.Win32_DiskDrive():     # 每块硬盘都要获取相应信息
            item_data = dict()
            iface_choices = ["SAS", "SCSI", "SATA", "SSD"]
            for iface in iface_choices:
                if iface in disk.Model:
                    item_data['iface_type'] = iface
                    break
            else:
                item_data['iface_type'] = 'unknown'
            item_data['slot'] = disk.Index
            item_data['sn'] = disk.SerialNumber
            item_data['model'] = disk.Model
            item_data['manufacturer'] = disk.Manufacturer
            item_data['capacity'] = int(int(disk.Size) / (1024**3))
            data.append(item_data)

        return {'physical_disk_driver': data}

    def get_nic_info(self):
        """
        网卡信息
        :return:
        """
        data = []
        for nic in self.wmi_obj.Win32_NetworkAdapterConfiguration():
            if nic.MACAddress is not None:
                item_data = dict()
                item_data['mac'] = nic.MACAddress
                item_data['model'] = nic.Caption
                item_data['name'] = nic.Index
                if nic.IPAddress is not None:
                    item_data['ip_address'] = nic.IPAddress[0]
                    item_data['net_mask'] = nic.IPSubnet
                else:
                    item_data['ip_address'] = ''
                    item_data['net_mask'] = ''
                data.append(item_data)

        return {'nic': data}

if __name__ == "__main__":
    # 测试代码
    dic = collect()
    print(dic)

windows中没有方便的命令可以获取硬件信息,但是有额外的模块可以帮助我们实现目的,这个模块叫做wmi。可以使用pip install wmi的方式安装,当前版本是1.4.9。但是wmi安装后,import wmi依然会出错,因为它依赖一个叫做win32com的模块。

我们依然可以通过pip install pypiwin32来安装win32com模块,但是不幸的是,据反映,有些机器无法通过pip成功安装。所以,这里我在github中提供了一个手动安装包pywin32-220.win-amd64-py3.5(配合wmi模块,获取主机信息的模块).exe,方便大家。

依赖包的问题解决后,我们来看一下sys_info.py脚本的代码。

  • 核心在于collect()方法!
  • 该方法首先通过platform模块获取平台的信息,然后保存到一个data字典中。
  • 然后创建一个Win32Info对象,并调用win32的各种功能方法,分别获取CPU、RAM、主板、硬盘和网卡的信息。
  • 类Win32Info是我们编写的封装了具体数据收集逻辑的类;
  • 该类中有很多方法,每个方法针对一项数据;
  • 其中对Win32模块的调用方式是固定的,有兴趣的可以自行学习这个模块的官方文档
  • 每一类的数据收集完成后都会作为一个新的子字典,update到开始的data字典中,最终形成完整的信息字典。
  • 最后在脚本末尾有一个测试入口。

整个脚本的代码其实很简单,我们只要将Win32的方法调用当作透明的空气,剩下的不过就是将获得的数据,按照我们指定的格式打包成一个数据字典。

强调:数据字典的格式和键值是非常重要的,是预设的,不可以随意改变!

二、信息收集测试

下面,单独运行一下该脚本(注意不是运行CMDB项目),查看一下生成的数据。为了显示更直观,可以通过在线json校验工具格式化一下。

{
os_type': 'Windows',
'os_release': '764bit6.1.7601',
'os_distribution': 'Microsoft',
'asset_type': 'server',
'cpu_count': 1,
'cpu_model': 'Intel(R)Core(TM)i5-2300CPU@2.80GHz',
'cpu_core_count': 4,
'ram': [
    {
        'slot': 'A0',
        'capacity': 4,
        'model': 'PhysicalMemory',
        'manufacturer': '',
        'sn': ''
    },
    {
        'slot': 'A1',
        'capacity': 4,
        'model': 'PhysicalMemory',
        'manufacturer': '',
        'sn': ''
    }
],
'manufacturer': 'GigabyteTechnologyCo.,
Ltd.',
'model': 'P67X-UD3R-B3',
'wake_up_type': 6,
'sn': '00426-OEM-8992662-12006',
'physical_disk_driver': [
    {
        'iface_type': 'unknown',
        'slot': 0,
        'sn': '3830414130423230233235362020202020202020',
        'model': 'KINGSTONSV100S264GATADevice',
        'manufacturer': '(标准磁盘驱动器)',
        'capacity': 59
    },
    {
        'iface_type': 'unknown',
        'slot': 1,
        'sn': '2020202020202020201020205935334445414235',
        'model': 'ST2000DL003-9VT166ATADevice',
        'manufacturer': '(标准磁盘驱动器)',
        'capacity': 1863
    }
],
'nic': [
    {
        'mac': '24: CF: 92: FF: 48: 34',
        'model': '[
            00000011
        ]RealtekRTL8192CUWirelessLAN802.11nUSB2.0NetworkAdapter',
        'name': 11,
        'ip_address': '192.168.1.100',
        'net_mask': ('255.255.255.0',
        '64')
    },
    {
        'mac': '0A: 00: 27: 00: 00: 00',
        'model': '[
            00000013
        ]VirtualBoxHost-OnlyEthernetAdapter',
        'name': 13,
        'ip_address': '192.168.56.1',
        'net_mask': ('255.255.255.0',
        '64')
    },
    {
        'mac': '24: CF: 92: FF: 48: 34',
        'model': '[
            00000017
        ]MicrosoftVirtualWiFiMiniportAdapter',
        'name': 17,
        'ip_address': '',
        'net_mask': ''
    },
    {
        'mac': '10: 19: 86: 00: 12: 98',
        'model': '[
            00000018
        ]Bluetooth设备(个人区域网)',
        'name': 18,
        'ip_address': '',
        'net_mask': ''
    }
]
}

上面的信息包含操作系统、主板、CPU、内存、硬盘、网卡等各种信息。可以看到我有两条内存,两块硬盘,以及4块网卡。内存没有获取到sn,但slot是不一样的。硬盘有sn,但接口未知。四块网卡有出现mac地址相同的情况,因为那是虚拟机的。

你自己的数据和我的肯定不一样,但是数据格式和键值必须一样,我们后面自动分析数据、填充数据,都依靠这个固定格式的数据字典。

通过测试我们发现数据可以收集到了,那么再测试一下数据能否正常发送到服务器。

三、数据发送测试

由于我这里采用了Linux虚拟机作为测试用例,我们的Django服务器就不能再运行在127.0.0.1:8000上面了。

查看一下当前机器的IP,发现是192.168.1.100,修改项目的settings.py文件,将ALLOWED_HOSTS修改如下:

ALLOWED_HOSTS = ["*"]

这表示接收所有同一局域网内的网络访问。

然后以0.0.0.0:8000的参数启动CMDB,表示对局域网内所有ip开放服务。

回到客户端,进入Client/bin目录,运行python main.py report_data,可以看到如下结果:

(cmdb_env) F:\Django_course\cmdb\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.1.100:8000/assets/report/]  ......
发送失败,HTTP Error 404: Not Found
日志记录成功!

这是一个404错误,表示服务器地址没找到,这是因为我们还没有为Django编写接收数据的视图和路由。

这时,打开log目录下的日志文件,内容如下:

发送时间:2017-11-30 16:45:55     服务器地址:http://192.168.1.100:8000/assets/report/      返回结果:发送失败

四、接收数据

进入cmdb/urls.py文件中,编写一个二级路由,将所有assets相关的数据都转发到assets.urls中,如下所示:

from django.conf.urls import url
from django.conf.urls import include
from django.contrib import admin

urlpatterns = [
    url(r'^admin/', admin.site.urls),
    url(r'^assets/', include('assets.urls')),
]

然后,我们在assets中新建一个urls.py文件,写入下面的代码:

from django.conf.urls import url
from assets import views

app_name = 'assets'

urlpatterns = [
    url(r'^report/', views.report, name='report'),
]

这样,我们的路由就写好了。

转过头,我们进入assets/views.py文件,写一个简单的视图。

from django.shortcuts import render
from django.shortcuts import HttpResponse

# Create your views here.

def report(request):    
    if request.method == "POST":
        asset_data = request.POST.get('asset_data')
        print(asset_data)
        return HttpResponse("成功收到数据!")

代码很简单,接收POST过来的数据,打印出来,然后返回成功的消息。

重新运行python main.py report_data,可以看到:

(cmdb_env) F:\Django_course\cmdb\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.1.100:8000/assets/report/]  ......
发送失败,HTTP Error 403: Forbidden
日志记录成功!

403就是拒绝服务的错误了。

原因在于我们模拟浏览器发送了一个POST请求给Django,但是请求中没有携带Django需要的csrf安全令牌,所以拒绝了请求。

为了解决这个问题,我们需要在这个report视图上忽略csrf验证,可以通过Django的@csrf_exempt装饰器。修改代码如下:

from django.shortcuts import render
from django.shortcuts import HttpResponse
from django.views.decorators.csrf import csrf_exempt

# Create your views here.

@csrf_exempt
def report(request):
    if request.method == "POST":
        asset_data = request.POST.get('asset_data')
        print(asset_data)
        return HttpResponse("成功收到数据!")

重启CMDB服务器,再次从客户端报告数据,可以看到返回结果如下:

(cmdb_env) F:\Django_course\cmdb\Client\bin>python main.py report_data
正在将数据发送至: [http://192.168.1.100:8000/assets/report/]  ......
发送完毕!
返回结果:成功收到数据!
日志记录成功!

这表明数据发送成功了。

再看Pycharm中,也打印出了接收到的数据,一切OK!

CSRF验证的问题解决了,但是又带来新的安全问题。我们可以通过增加用户名、密码,或者md5验证或者自定义安全令牌的方式解决,这部分内容就不展开了。

Windows下的客户端已经验证完毕了,然后我们就可以通过各种方式让脚本定时运行、收集和报告数据,一切都自动化。



评论总数: 8



user_image
这是什么问题,有谁知道吗,谢谢

正在将数据发送至:[http:// 10.200.11.199:8000/assets/report/] ...... ?[31;1m发送失败,<urlopen error [Errno 11001] getaddrinfo failed>?[0m 日志记录成功!

user_image
from core import handler

怎么让core下边的红线消失啊,虽然可以运行,但是看着不舒服from core import handler

user_image
试了一下真是艰难啊

我python3.6,django.1.11 首先CLINET包我放在CMDB包里引用不太正确,我就放桌面了.然后PIP下不了WMI,就去官网下了wmi,然后再用命令行python install setup装好总算成功了,获取了本地的电脑信息.然后再打开另外一个Pycharm打开了CMDB,用命令行启动0:0:0:0:8000服务器,再运行那个才CLIENT成功了- -

user_image
。。

如果在同一主机上测试,则启动Django服务。

user_image
报了个500错误

发送失败,HTTP Error 500: Internal Server Error

user_image
格子灰

我也是500错误,没搞明白

user_image
win32com库 无法安装

Python3.6 Django1.11.5 >pip install win32com Collecting win32com Could not find a version that satisfies the requirement win32com (from versions: ) No matching distribution found for win32com

user_image
pip install pypiwin32

我们依然可以通过pip install pypiwin32来安装win32com模块,但是不幸的是,据反映,有些机器无法通过pip成功安装。所以,这里我在github中提供了一个手动安装包pywin32-220.win-amd64-py3.5(配合wmi模块,获取主机信息的模块).exe,方便大家。