本地搜

大数据分析四大分析要素

2020年03月25日 14:18 发布人: zcmf 1174

  任何数据分析过程都包括四大要素:场景+数据+工具+方法,数据分析起点必须来源于某个场景下的需求,根据需求目标(场景),搭建分析框架(方法),提取需要的数据指标(数据),用适合的工具实现,最后提炼结论,给出建议或策略。

 

  01场景

 

  首先,移动互联网化+传统企业转型触网使数据获取难度大大降低,其次,云存储和云计算使存储和计算成本降低,最后,人工智能和商业智能使数据价值凸显,越来越多企业愿意花大钱于数据基础建设,那么数据分析场景也越来越丰富,从行业来看,主要有互联网、移动互联网、金融、汽车、房地产和供应链等。

 

  每个行业具体业务场景也会不同,比如同样是互联网,可以分为游戏、社交、电商、安全、新零售、娱乐、外卖、航旅、共享经济、搜索、人工智能.....,应用场景和边界不断扩展,不同场景分析套路和重点也不完全相同,但有一点,场景越丰富,数据分析岗越有必要和价值,思路和想象也可无限扩展。

 

  02数据

 

  百科定义:数据指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字,还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等,也是客观事物的属性、数量、位置及其相互关系的抽象表示。

 

  数据特征:变异性和规律性,变异性是指不同事件量化的数据不同,具有差异性,正是因为数据变异性,数据分析才有必要;规律性是指包罗万象的数据中,数据是有规律可寻的,从而得出有价值的结论,正是因为规律性数据分析才有价值。

 

  数据类型:数据可分为结构性和非结构性数据。结构化数据是指可以用数字量化的,相对规整的数据,比如生产、业务、交易和*****等的结构化数据,数据分析和方法很长时期都集中在这类数据上,这块的方法和工具也相对成熟;但相比结构化数据,非结构化数据存储量更大,也蕴含着非常丰富的价值,比如合约、发票、书信与采购记录等营运内容;如文书处理、电子表格、简报档案与电子邮件等部门内容;如HTML与XML等格式信息的Web内容;以及如声音、影片、图形等媒体内容。非结构数据处理算法和方法在近几年有很大的进步,比如在图像、语音、翻译等有广泛应用。

 

  数据简史:数据规模和存储方式在1991年之前,增长是缓慢的,之后在互联网的推动下,数据量开始爆发,2005年hadoop诞生,标志着人类对海量数据处理有了解决方案,近几年在很多学者和企业的推波助澜下,数据价值越来越受到企业重视。

 

  03工具

 

  工欲善其事必先利其器,工具在数据分析过程中也是非常重要的一环,下面列举些常用的工具类型:

 

  1;笔记本电脑,电脑配置还是要高点儿,尤其是在数据量比较大的公司,如果计算内存小,很容易出现死机,严重影响工作效率。至于电脑操作系统是选择os,还是ws,建议选择后者,从电脑普及率来看是ws更高,ws分析工具更全,功能更强大;

 

  2;基础分析和展示工具:数据分析中最常用的数据汇总和展示工具是excel和ppt,excel是最常用的数据分析工具,哪怕是在大的数据公司,比如阿里巴巴、美团、腾讯、百度,通常会先在云上把需要的指标进行初步汇总,取出放到excel中分析,excel功能很强大,除了透视汇总,图表、分类外,还有简单模型、规划求解等功能。

 

  因此,excel是最基础也最常用的分析工具,数据分析师必须要好好掌握;数据分析完成后,通常要把成果展示给听众,ppt是非常好的选择,数据分析报告ppt不像营销同学做的花哨,形式为辅,核心是结论、信息传达,数据作为论据,如果能将数据分析报告类ppt做的很美观,也很厉害,可以参考咨询公司的报告,比如麦肯锡、埃森哲等,网上可以找到很多。

 

  3;数据提取工具:数据提取如果数据量比较小,很多公司会有直接下载的功能,但如果数据量比较大,就需要用工具或者给专业的公司来获取了,比如易海聚就可以帮您完成大数据的获取工作,让后就需要加工了,常用的数据查询工具有sql、hive,很多大的互联网公司都是用hive,hive和sql语法有点类似,也是很多数据仓库同学必须掌握的语言,作为一名大公司的数据分析同学,hive是必须要掌握的,hive最早是谷歌搞出来的,不少公司在此基础上封装成自己的语言,加些自己的函数等,但总体语法和架构是一样的。

 

  4;可视化工具:ppt中有些可视化的功能,但在可视分析上还不是特别专业,市场上认可度比较高的可视化分析工具有tableau、spotfire等.如果想给人耳目一新的感觉,所见即所得,利用数据实力,释放员工潜能,选择为商业智能领域带来变革的分析平台,选择Tableau是不错的选择。

 

  5;高阶数据分析工具:如果你想用一些算法、模型解决日常的工作,可以学习R软件、python,还有传统的一些spss、matlab、spss modler等,除了这些工具外,大公司也会有自己的模型或算法平台,可以通过java、python等语言直接调取已有算法包,也可以用这些语言重新封装新的算法再使用。

 

  市面上工具很多,但要做一名合格的数据分析师,掌握1/2/3中的工具就可以解决80%的商业分析问题,另外,20%需要高阶的工具。

 

  04方法

 

  数据分析思维

 

  数据分析方法包括两个层面,一个是数据分析思维层面,另一个是套路层面,常用的数据分析思维有:

 

  1;MEMC(Mutually Exclusive Collectively Exhaustive)——“相互独立、完全穷尽”,这个是金字塔原理中非常经典的复杂问题拆解方法,尤其是针对比较大的研究课题,可能开始无从下手,这个时候通过这种方法,可以把整体分解成很多局部模块,再针对每个模块进行可能性假设和论证,最终得出满意的答案。

 

  2;归纳,指从许多个别的事物中概括出一般性概念、原则或结论的思维方法,每次数据分析探索可能很多维度、视角都会尝试,最终要写成分析报告的时候需要提炼核心观点,这就是一个信息归纳的过程。

 

  3;演绎,演绎推理是由普通性的前提推出特殊性结论的推理,我们在数据分析中经常会沿用原有的经验,很多都是采用演绎的方式进行,比如28法则是人类收入分配中有这种倾向,电商卖家收入也会有这种倾向。

 

  4;对比思维,数据分析中很多时候要回答某个结果是好还是坏,需要有具体的参考系,常用的参考系有四类,去年同期对比如何,上期环比如何,和目标比如何,和竞争对手比如何,只有通过对比才有实际的意义,否则只是陈列数据。

 

  5;抽茧剥丝,数据分析要像剥洋葱一样,一层层往下分解,直接不能再分解,或者可落地解决为止,如果只停留在表象,会发现不接地气,数据无法真正驱动业务。

 

  6;5W1H,数据分析不一定都要回答6方面的问题,想表达的是如何面对复杂case,要了解这个需求的前因后果,只有先做综合性的判断,才能清楚地判断需求是否靠谱,是要接着往下做,还是要放弃,很多需求是没有意义的。另外,通过5W1H方式的沟通,会获得解决方向灵感,以及判断需求所能影响的范围。

 

  “套路”方法

 

  常用的套路层面,需要结合具体的业务场景,比如电商流量、安全、市场营销、会员运营、销售管理等不同场景的数据分析套路是不完全一样的,下面大概讲下,后续会退出更详细的

 

  1;流量:常用的分析方法是流量漏掉,不管是在电商、搜索、还是在社交游戏,通过流量漏斗思路,做流量转化效率优化都是这块的核心。

 

  2;安全:安全最主要的思路是攻防(规则识别、模型识别),流程或政策优化,比如针对账号被盗这样的风险,可以在登录时增加校验流程,或者增加校验难度,也可在不改变流程情况下,提高规则、模型对异常攻击识别的准确率和覆盖度。原则要做安全和用户体验平衡。

 

  3;成交:成交很重要的思路是从流量端做成交驱动拆解,成交金额=uv*转化率*客单价,每个指标都可以再细分,也可以从供给端做供给数量和效率拆解,再从不同维度细分,比如行业、商家类型等。

 

  4;用户:用户主要关注的是用户粘性,和ARUP值,常用的方法是RFM,将用户分成不同类型精细化运营,终极目标是让用户离不开你,情愿花更多钱。

 

  5;销售管理:销售核心的工作是KPI制定和分配,佣金激励,过程管理,数据分析更多是KPI制定的方法,佣金系数制定的方法,过程指标分解的方法。

 

  6;市场营销:市场营销核心分析思路是影响面,以及投入产出比(roi)。

 

  大数据分析四大分析要素.中琛魔方大数据(www.zcmorefun.com0温馨提醒:各行业致力于推动技术创新的企业都在考察云端分析功能。考虑到厂商提供技术的多样性,选择解决方案时,必须仔细研究评估所有相关标准,确保解决方案能充分发挥性能并带来预期的价值。