什么叫大数据

01、大数据的定义

行业里对大数据的定义有很多，有广义的定义，也有狭义的定义。

广义的定义，有点哲学味道——大数据，是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征，从而做出提升效率的决策行为。

狭义的定义，是技术工程师给的——大数据，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

相比较而言，我还是喜欢技术定义，哈哈。

大家注意，关键词我都在上面原句加粗了哈！

要做什么？——获取数据、存储数据、分析数据

对谁做？——大容量数据

目的是什么？——挖掘价值

获取数据、存储数据、分析数据，这一系列的行为，都不算新奇。我们每天都在用电脑，每天都在干这个事。

例如，每月的月初，考勤管理员会获取每个员工的考勤信息，录入Excel表格，然后存在电脑里，统计分析有多少人迟到、缺勤，然后扣TA工资。

但是，同样的行为，放在大数据身上，就行不通了。换言之，传统个人电脑，传统常规软件，无力应对的数据级别，才叫“大数据”。

02、大数据，到底有多大？

我们传统的个人电脑，处理的数据，是GB/TB级别。例如，我们的硬盘，现在通常是1TB/2TB/4TB的容量。

TB、GB、MB、KB的关系，大家应该都很熟悉了：

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

而大数据是什么级别呢？PB/EB级别。

大部分人都没听过。其实也就是继续翻1024倍：

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

只是看这几个字母的话，貌似不是很直观。我来举个例子吧。

1TB，只需要一块硬盘可以存储。容量大约是20万张照片或20万首MP3音乐，或者是671部《红楼梦》小说。

▲普通硬盘

1PB，需要大约2个机柜的存储设备。容量大约是2亿张照片或2亿首MP3音乐。如果一个人不停地听这些音乐，可以听1900年……

▲2个机柜

1EB，需要大约2000个机柜的存储设备。如果并排放这些机柜，可以连绵1.2公里那么长。如果摆放在机房里，需要21个标准篮球场那么大的机房，才能放得下。

▲21个篮球场

阿里、百度、腾讯这样的互联网巨头，数据量据说已经接近EB级。

EB还不是最大的。目前全人类的数据量，是ZB级。

1 ZB = 1024 EB (ZB - zettabyte)

2011年，全球被创建和复制的数据总量是1.8ZB。

而到2020年，全球电子设备存储的数据，将达到35ZB。如果建一个机房来存储这些数据，那么，这个机房的面积将比42个鸟巢体育场还大。

数据量不仅大，增长还很快——每年增长50%。也就是说，每两年就会增长一倍。

目前的大数据应用，还没有达到ZB级，主要集中在PB/EB级别。

大数据的级别定位：

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

1 ZB = 1024 EB (ZB - zettabyte)

03、大数据的来源

数据的增长，为什么会如此之快？

说到这里，就要回顾一下人类社会数据产生的几个重要阶段。

大致来说，是三个重要的阶段。

第一个阶段，就是计算机被发明之后的阶段。尤其是数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。这时的数据，以结构化数据为主（待会解释什么是“结构化数据”）。数据的产生方式，也是被动的。

▲世界上第一台通用计算机ENIAC

第二个阶段，是伴随着互联网2.0时代出现的。互联网2.0的最重要标志，就是用户原创内容。随着互联网和移动通信设备的普及，人们开始使用博客、facebook、youtube这样的社交网络，从而主动产生了大量的数据。

第三个阶段，是感知式系统阶段。随着物联网的发展，各种各样的感知层节点开始自动产生大量的数据，例如遍布世界各个角落的传感器、摄像头。

经过了“被动-主动-自动”这三个阶段的发展，最终导致了人类数据总量的极速膨胀。

04、大数据的挑战

说了那么多大数据的好话，并不代表大数据是完美的。

大数据也面临着很多挑战。

除了大数据管理技术难度之外，大数据的最大挑战，就是安全。

数据是资产，也是隐私。没有人愿意自己的隐私被暴露，所以，人们对自己的隐私保护越来越重视。政府也在不断加强对公民隐私权的保护，出台了很多法律。

▲欧盟在2018年出台了有史以来最严厉的GDPR（《一般数据保护法案》），把网络数据保护上升到前所未有的高度

在这种情况下，企业获取用户数据，就需要慎重考虑，是否符合伦理和法律。一旦违法，将付出极为沉重的代价。

此外，即使企业合法获取数据，也要担心是否会被恶意攻击和窃取。这里面的风险也是不容忽视的。

除了安全之外，大数据还要面临能耗等方面的问题。

换言之，如果不能很好地保护和利用手里的大数据，那么它就是一个烫手的山芋，有还不如没有。

到底什么叫大数据，其实并不难理解。

随着互联网行业的发展，大数据成为我们生活中必不可少的一部分，绝大多数人已经慢慢习惯了它们的存在。

当然，大数据虽然为生活带来便利，同时我们也面临着个人信息被泄露的风险。

所以，我们在享受大数据为生活带来的便捷的同时也要注意保护好自己的个人隐私。