本地搜

大数据分析数据来源的有哪些类型

2020年10月14日 13:40 发布人: zcmf 1504

  在数据量巨大的今天,如何以更高的效率获取分析所需的数据,以及如何利用这些数据反映最真实的情况,是业界不断讨论的话题。接下来,就带大家来了解下大数据分析及其数据来源。


  大数据分析:顾名思义,就是对规模巨大的数据进行分析,是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。


  大数据分析数据来源包含哪些类型


  1、机器数据


  机器数据是指服务器、网络设备等硬件或虚拟硬件运行过程中产生的状态数据,往往有对应的协议或规范,例如SNMP、IPMI、WMI等。通过机器数据可以准确的掌握业务承载平台的基本运行状态,例如CPU、内存、磁盘等资源的使用情况和网络流量情况,是运维监控领域常用的数据来源,各类开源或商业监控产品对此类数据的处理也大同小异。


  做好机器数据的监控可以说是做好运维监控的一步,但仅仅有机器数据是不够的,因为机器数据存在与业务运行状态脱节的问题,机器运行平稳、资源充足并不能够代表业务运行正常,这就需要我们去丰富自己的监控数据来源,各位看官请往下看。


  2、日志数据


  日志数据是指应用程序、中间件和机器等在运行过程中由事件触发而产生的文本类数据,数据格式灵活多样。


  通过日志数据可以深入的了解应用等运行过程中的详细情况,但其详细程度和覆盖面取决于产生日志的规则,有些应用产生的日志非常详细,包含了每一笔事务的处理过程,有些应用产生的日志非常简单,只会在应用报错时产生一些错误信息。


  3、网络通信数据


  网络通信数据是指通过抓包获取到的设备间网络通信数据,例如两台服务器之间存在网络通信,通过抓包分析可以详细的了解两台服务器之间通信的端口、协议、数据量甚至内容。常用的方式是通过硬件设备将网络流量进行镜像,对镜像数据进行分析,以避免干扰业务数据的正常流转。


  4、拨测数据


  对于IT业务系统,拨测采用的探测点可以在公网,也可以在业务系统内网,不同位置的探测点起到的作用是不同的。公网探测点主要关注业务系统的网络出口质量、运营商网络质量和CDN质量,而内网探测点主要关注的是业务或各个业务模块的可用性及性能状态。


  5、用户行为数据


  用户行为数据是指通过在用户终端进行埋点获取到的用户行为数据,例如在网页中通过JS埋点获取到的页面访问情况和在APP中通过SDK埋点获取到的各交互页面和控件的使用情况。用户行为数据除了帮助运营同学进行用户分析,还可以帮助运维的同学更加准确的了解业务系统的实际表现。


  大数据分析数据来源的有哪些类型.中琛魔方大数据分析平台(www.zcmorefun.com)表示大数据是数据计算技术的发展,它是从简单的数据计算到计算运算技术的扩展。随着大数据相关技术的发展和创新,大数据已经从简单的数据计算扩展到数据挖掘、分析和应用能力的创新。