本地搜

大数据平台优势及基本能力

2020年12月22日 13:40 发布人: zcmf 3512

  大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。那么大数据平台具备哪些优势与能力?


  1、大数据平台优势


  横向扩展:大数据技术出现之初所要解决的问题就是数据存储与计算,近年来随着数据量产生速度越来越快,传统平台存储与计算能力遇到瓶颈,而大数据平台是分布式架构,理论上是可以无限扩展的,所以其能更好的适应时代的发展。


  资源共享:企业通过使用单一集群,可以化零为整,整合所有可用服务器资源,并统一对外提供所有的能力,可以实现细粒度的资源调度机制。并且只需维护一个集群,降低运维成本。


  数据共享:使用单一存储架构,可以将企业内部所有数据集中在一个集群中,方便进行各种业务数据的整合使用,从而充分利用大数据技术全量数据分析的优势。


  服务共享:通过统一服务架构,可将一套统一服务设计规则应用到所有的服务实现上,例如一张表数据可以以文件形式共享也能以接口形式接口进行共享,我们进行统一之后各个部门可以以相同方法进行调用使用,避免烟囱式架构,间接减少重复开发成本。


  安全保障:通过统一安全架构,在单一集群架构基础上实现细粒度的资源隔离,对不同人员进行不同程度的授权。


  2、大数据平台需要具备的能力


  集群监控与管理:毫无疑问集群是需要能够进行统筹的管理及监控的能力,否则运维团队在做运维时将无从下手。


  资源接入:数据是一个企业的核心资源,我们对业务模型的建立,分析,挖掘都需要建立在原始数据之上,而这些数据来源多(日志,关系数据库,爬虫等),类型杂(结构化,半结构化,非结构化数据),体量大,所以大数据平台需要能够对接各种来源及各种类型的海量数据。


  数据存储及查询:数据接入之后,就需要根据不同的应用场景进行存储,例如关系型数据模型,非关系型数据模型,文档数据模型,大数据平台需要能够提供不同的存储模型及不同的查询手段。


  数据计算:根据不同的应用场景会有不同的计算要求,简单的可以分为离线计算和实时计算,机器学习,多维分析。在数据对时效性要求不高且数据量大的情况下可以选择离线计算。例如报表之类的需求。但对于时效性要求比较高的场景,例如银行的风险控制,就需要选择实时计算模型。机器学习可以使用大数据平台的全量数据进行模型训练,常用于预测,预警,推荐等应用场景。例如今日头条。由于大数据平台数据的互通性使得可以从多个维度对某一事件进行分析,例如从商品,客户,价格,商品折扣,商品促销等多个维度进行分析,从而得出某一商品近期销售额是增加了还是减少了,商品的主要消费群体是什么年龄段的。


  大数据平台安全管理:需要具备用户管理与访问控制能力。


  任务管理及调度:我们开发的数据抽取,离线计算还是实时计算等都需要以任务形式提交到调度系统,可以进行任务追踪,日志查询ke'y,执行周期性要求等。


  大数据平台优势及基本能力.中琛魔方大数据平台(www.zcmorefun.com)表示公司要做数据分析,首先要考虑数据的准备,也就是数据平台的建设,一个数据平台的出现,不仅可以承担数据分析的压力,同样可以对业务数据进行整合,也会不同程度的提高数据处理的性能,基于数据平台实现更丰富的功能需求。