本地搜

大数据平台有哪些基础服务

2020年04月14日 13:51 发布人: zcmf 1182

  在做数据产品时,我们一般为了快速的支撑业务,会快速的搭建一个核心产品,支撑业务方的使用。而随着业务的发展,我们会发现,一个产品模块已经不能满足业务方的需求了,脚本的管理,离线任务的管理,实时的消息队列,各种图形化的报表。他们是不同的对象,分别形成了不同的产品。而架构师们在看到这种情况后,一定会对公共的服务进行抽取和整合。所以,一个成熟的平台,公共的基础服务是共用的。

 

  虽然这样说,但抽取的过程,一定伴随着功能的重构,原来业务的发展有多快,重构的难度就有多大。因为在业务高速发展时,大概率的情况是研发并没有时间进行公共模块的建设,而是涌在业务方的各种需求里。但抽取这件事,越早做对平台越好,这样新的需求和模块,就可以依托于搭建好的公共服务,这会大幅度减轻研发者的工作量,还避免了以后填坑的烦恼。

 

  说了这么多,我们大数据平台的基础服务都有哪些呢,总结起来包括:数据源、权限服务、流程服务、监控服务、字典服务、埋点服务、标签服务、公告服务、文档服务。

 

  1.数据源

 

  数据源这个词其实比较专业,没有接触过大数据的同学可能不了解是什么,其实这就是数据库链接信息的统一管理模块。一个成熟的大数据平台当然是有能力链接多个数据库,为用户提供工具服务的,而如果报表平台,调度平台等分别建设数据源管理,重复建设不说,将来数据库进行调整时,各个模块需要分别修改配置,调整的影响评估工作量会增加,所以大数据平台需要一个统一的数据源服务,专门管理数据库链接的信息。各功能模块连接数据库均通过它来实现。

 

  2.权限服务

 

  这个大家应该都非常好理解了,账号的统一的强大之处,我们在腾讯这家公司身上就可以看到。平台完全可以采用RBAC模型,以用户、资源、角色、资源组为实体进行管理。模型已经是行业非常成熟和普遍,这里不在赘述。

 

  3.流程服务

 

  其实流程服务不一定是必须的,这并不是一个平台级的服务,而是一个公司级的服务,一个公司其实有一套流程平台就足够了,因为任何的工作形态都离不开流程审批,而流程的主体可分为流程流转、流程表单、审批角色这三部分,定义好这三项,就可以定义好一个流程。

 

  4.监控服务

 

  作为数据平台,监控的重要程度不言而喻,当报送给老板的统计指标值异常时,你可能还没有到公司,电话就被打爆了,所以及时的发现数据处理过程的异常非常关键,而且使用场景也非常多,任务的失败和延迟需要监控,内存和存储需要监控,数据的质量也需要监控,所以把监控抽取为公共服务是非常合理的。

 

  5.字典服务

 

  我们在做各种表单时,经常会用到下拉选择这一方式,当然有些下拉时关联到某一个实体上,比如用户,队列,账号;但还有一部分是固定的枚举,这就是字典,我历经4家公司,只有一家濒临倒闭的传统公司没有对系统的字典进行抽取统一管理,而其他三家都进行了这项工作。字典统一并以服务的形式对外赋能,开发新表单时不需要在进行繁琐的页面开发,而是一个配置服务搞定。

 

  6.埋点服务

 

  这又是一个公司级的服务,互联网公司做埋点是在正常不过的事情,当然也不排除有些To B的内部系统产品不埋点,而大一点的互联网公司都会将埋点作为公共服务,因为这是非常常用的功能,如果每次埋点,都需要把数据采集入库这一套流程做一遍,那就太费事了,所以一般埋点平台都会提供SDK以及JS代码,这样研发只需要将SDK集成或JS代码写在页面和按钮里,就可以了。

 

  7.标签服务

 

  当然,这并不是一个必须产品,因为有的平台根本不使用标签管理对象,但如果有,建议抽取为公共服务。标签管理任务,报表,脚本都可以使用标签管理,用户自定义非常的便捷,如果你的功能还是依靠树形的结构菜单管理,不妨变更下思路,提供标签服务,让用户自己管理自己的东西。

 

  8.公告服务

 

  平台做大以后,发送公告是家常便饭了,所以有了公告服务,系统建设时就不需要为这件事操心了,统一的发布,统一的提示方式,使得平台看起来更加的统一。

 

  9.文档服务

 

  因为产品也在不断的升级,大数据产品作为一个To研发的产品,使用门槛必然会非常高,所以能否给予详细的文档说明是衡量这个平台是否优秀的一个标准,虽然大家的愿景是易用到不需要文档,但是这是最终的理想,在达成之前,文档还是很重要的,建立自己的文档中心有助于对产品的沉淀,而且可以减轻系统客服咨询工作的压力,是平台成熟时的必然产物。

 

  大数据平台有哪些基础服务.通过中琛魔方大数据平台(www.zcmorefun.com)分析也可以看到,大数据的问题的研究,必然是以商业利益为驱动,一些大的依靠数据牟利的大公司必然会是大数据应用的主体,大数据一定会成为重点研究领域。