大数据全样而非抽样原理_大数据技术原理与应用笔记（1）——大数...

作者：天景科技苑 | 2024-07-20 04:22:57

踩

全样而非抽样

大数据概述

1.1大数据概念

(1)数据量大/“大量化”

(2)数据类型繁多/“多样化”

10%结构化数据，90%非结构化数据

(3)处理速度快/“快速化”

1秒定律——秒级决策

(4)价值密度低，商业价值高/“价值化”

1.2数据产生方式

运营式系统阶段——>用户原创内容阶段——>感知式系统阶段

感知式系统阶段也就是物联网的大规模普及，物联网的迅速发展让大数据最终到来。

1.3技术支撑

(1)存储设备容量不断增大

(2)CPU处理能力大幅提升

(3)网络带宽不断增加

1.4大数据的影响

(1)科学研究范式的改变

实验——>理论——>计算——>数据

实验：以实验的方式验证科学问题

理论：以理论的方式研究科学问题

计算：用计算机(计算)去解决科学问题

数据：以数据为驱动研究问题，即大数据分析

数据研究范式和其他范式的区别：一开始并不清楚问题所在，通过大数据分析发现问题(问题发现)；而不像以前，知道是什么问题，我们去找答案(答案查找)。

(2)思维方式的改变

全样而非抽样

以前做数据分析，因为计算能力的限制，只能做抽样分析；而现在分布式计算网络的出现，使得成百上千的CPU可以同时计算，因此也不需要抽样，而是全样的数据分析。

效率而非精确

抽样分析通常最求算法精确度高，因为如果抽样精确度不高，放到全样误差会被放大。而大数据时代是对全样进行分析，误差不会被放大，误差是多少就是多少，因此我们不会刻意的追求算法的精度，所以我们更最求时效性，很多数据在一瞬间没有得出结果的话，它的价值就丢失了。