博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
解读|数据分析的发展和演变经过哪几个阶段
阅读量:7210 次
发布时间:2019-06-29

本文共 2135 字,大约阅读时间需要 7 分钟。

作者: Deepesh Nair
编译: Mika
CDA 数据分析师原创作品,转载需授权

近年来,我们在信息技术领域取得了巨大进步。在技​​术生态领域中取得的一系列革命性成果确实值得称赞。在过去的十年到二十年里,数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的,市场中扮演什么角色,以及将如何重塑商业业务。

科技,对于那些已经意识到其潜力的人群来说这是一种福音,然而对于那些无法跟上其快速发展的人群来说,这也是一种考验。到目前为止,几乎每个行业都离不开数据分析。

在本文中将总结近年来数据分析的发展和演变,简化各种术语,对一些常见应用场景进行解释。让我们开始吧!

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期,客户(业务)和生产过程(交易)被集中到巨大的存储库中,如eCDW(企业整合数据仓库)。在对商业现象的客观理解方面取得了真正的进展, 从而让管理者在做出决策时能够基于对事实的理解,而不是仅凭直觉。

这个阶段中数据通过ETL和BI工具收集、转换和查询。分析类型主要分为描述性(发生了什么)和诊断性(为什么会这样)。

然而,这个阶段的局限在于数据仅在公司企业内部使用,即商业智能活动只能处理过去发生的事情,而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区,试图用更广泛的方法进行更复杂的分析时,前一阶段的数据分析局限性变得更加突出。

企业都开始通过外部资源获取信息,比如点击流、社交媒体、互联网等,与此同时对新工具的需求也越发明显。不可避免地,“大数据”一词出现了,为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段,公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是,因此应运而生的新兴的群体,即如今所称的“开源社区”将产生巨大的影响力,这也是数据分析 2.0时代的标志。

在社区前所未有的支持下,大数据工程师,Hadoop管理员等角色在就业领域发展壮大,并且对对每个IT企业都至关重要。科技公司急于开发新的框架,这些框架不仅能够收集、转化处理大数据,而且还能在集成预测性分析。而且,进一步通过描述性和诊断分析的结果检测趋势、聚类和异常,并预测未来趋势,这也使其成为重要的预测工具。

在今天的技术生态系统中,我个人认为“大数据”这个术语已经被大量使用,甚至滥用,从技术上讲,如今“大数据”指的是所有数据,或者只是指数据。

数据分析 3.0→功能强大的数据产品

开创性的大数据公司开始投资数据分析,从而支持面向客户的产品,服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站,所有这些都是由数据分析所驱动的。大数据现象迅速蔓延,如今不仅是科技公司在通过数据分析开发产品和服务,几乎每个行业的公司都是如此。

另一方面,大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时,大多数企业和非科技公司却因为忽略数据而失败惨重。因此,数据科学领域应运而生,该领域使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上,数据科学领域是跨学科的,它被定义为“结合统计、数据分析、机器学习等相关方法的概念”,从而用数据“理解和分析实际现象”。换句话说,良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家,他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展,并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争方面,公司不仅通过改善内部决策等传统方式,而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展,在内部设立更多的研发部门,比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

图片描述

数据分析 4.0 → 自动化功能

有四种分析类型:描述,阐述过去; 诊断,利用过去的数据研究现在; 预测,通过基于过去数据的见解来预测未来; 规范,通过模型指导最佳行为。虽然数据分析3.0包含了上述所有类型,但它强调的是最后一种,并且引入了小规模自动化分析的概念。

数据分析3.0提供了将决策流程扩展到行业中的机会。通过机器学习创建更多模型,从而让预测变得更加细化和精确。但是,部署这类定制模型的成本和时间是十分昂贵的。最终,通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问,人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果,自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为,人与智能机器的强强联合,从而实现更好的成果。

与其思考“人类的哪些工作将被机器取代?”我宁愿乐观地考虑,在机器的帮助下,企业能取得哪些新成就?我们该如何在灾难易发地区,通过人工智恩程序减少伤亡人数;或者如何在贫困地区建立人工智能驱动的电子学校等。

我对数据分析的发展充满自信,问题在于我们能否积极地接受该技术带来的影响。

你可能感兴趣的文章
瑞星:齐心共筑企业终端安全
查看>>
2、Nginx配置文件nginx.conf的配置详解
查看>>
LVS的dr模型的工作原理
查看>>
一段典型的PHP程序都包含那些内容呢?
查看>>
zabbix_agentd windows配置
查看>>
物联网的通天塔困境:试图平息标准之争反而引发另一场大战
查看>>
穿越ASA进行traceroute或tracert测试
查看>>
Python基础教程__项目(公告板)
查看>>
顺时针和逆时针螺旋打印二维数组(行列式)
查看>>
wxWidgets中字符串操作例子
查看>>
C#设计模式(14)——模板方法模式(Template Method)
查看>>
构建高性能的ASP.NET应用(五)-如何开始寻找性能瓶颈
查看>>
ipython notebook [jupyter] 使用
查看>>
[原创]Editplus巧删文本中大量空行
查看>>
SharePoint常见问题一:无法连接数据库
查看>>
LAMP自动安装脚本(上)
查看>>
安全规范和指南系列之二
查看>>
IT草根的江湖之路之七: 挑战,刚刚开始
查看>>
总结之:CentOS6.5 DNS服务BIND配置、正反向解析、主从及压力测试(1)
查看>>
Spring Security(16)——基于表达式的权限控制
查看>>