搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
空白诗007
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
对于末流二本的学渣来说,面试字节跳动有多难!,2024年最新Web前端基础面试题及答案_字节跳动web前端面试
2
uniapp——第1篇:基于vue语法的、比原生开发屌的小程序开发_uniapp 小程序开发
3
Linux 文件系统与日志分析_日志服务器支持解析cp协议吗
4
微信小程序之数据的同步渲染_微信小程序渲染层如何等数据加载完成再进行渲染
5
免费的降以及查询aigc的工具来了_aigc免费检测网站
6
解决QT+VS中无法打开/无法识别/无法打开/找不到ui_xxx.h文件_qt打开项目ui找不到了
7
Python | Leetcode Python题解之第206题反转链表
8
教师信息管理系统_教师实体中包含工号姓名学院
9
数据挖掘电子书下载
10
【小技巧】Matlab读取CSV文件_multipledelimsasone
当前位置:
article
> 正文
第一章 大数据理论
作者:空白诗007 | 2024-06-28 09:59:02
赞
踩
大数据理论
1.1大数据理论
1.1.1 大数据的定义
大数据不仅指数据的体量大,而且强调数据类型繁多,价值密度低,处理速度快。
大数据不仅包括互联网信息,而且包括各种交通工具,生产设备和工业器材上的传感器信息。
归根结底,通过大数据技术,可以快速处理不同种类的数据,从而获得有价值的信息。
1.1.2 大数据的本质
1.信息
从本体论角度来看,信息可定义为事物的存在方式和运动状态的表现形式。
2.数据
数据是只能够客观反映事实的数字和资料。可定义为有意义的实体,它涉及事物的存在形式是表达知识的字符集合。
3.数据和信息
数据是信息的载体,信息是有背景的数据,而知识是经过人类的归纳和整理,最终呈现出规律的信息。
简单地说,信息是经过加工的数据,或者说,信息是数据处理的结果。
1.1.3 大数据的分类
1.依据来源
大数据一般分为4类
科研数据
科研数据在大数据时代前就存在,可能来自生物工程,天文望远镜或粒子对撞机,不一而足。
科研数据存在于具有极高积分速度且性能优越的机器中,如欧洲核子研究中心的大型强子对撞机,其在满负荷的工作状态下,每秒可以产生PB级的数据。
互联网数据
互联网数据是时代的主流,社交媒体,成为近年来大数据的主要来源。
感知数据
进入移动互联网时代后,移动平台的感知功能和LBS(Location Based Service,基于位置的服务)的普及,使感知数据,互联网数据逐渐重叠,感知数据的体量同样惊人,并且总量可能不低于网数据。
企业数据
企业数据和感知数据都涉及传统产业。企业数据是由人产生的,而感知数据是由传感器等机器产生的。传统产业自身的大数据处理能力有限。
2.依据使用主体
大数据可分为三类
政府大数据
各级政府,各个机构拥有海量的原始数据,构成社会发展运行的基础,包括形形色色的环保戏相,电力的生活数据。道路交通、自来水、住房等公共数据,安全、海关、旅游等管理数据,教育、医疗、金融等服务数据。
在具体的政府单一部门中,无数数据被固化而没有产生任何价值,如果关联这些数据并使其流动起来进行综合分析,有效管理将产生巨大的社会价值和经济效益。
企业大数据
大数据时代产生了很多影响巨大的互联网企业,而传统it企业随着网络社会的到来,也开始进入互联网领域。用云计算与大数据技术改善产品、提升平台、实现升级,这两类公司互相借鉴,相互合作,彼此竞争。
个人大数据
采集个人数据,应该明确按照国家法律要求数据,只有游用户明确授权后才能被采集,处理。
1.1.4 大数据的特征
1.体量巨大,种类繁多,
2.开放,容易获取。
3.重视社会预测
4.重视发现而非实证
5.非结构化数据越来越多
1.1.5 大数据的功能
1.连接功能
2.反馈功能
3.揭示功能
1.1.6 大数据处理的基本流程
大数据处理的基本流程为:
在合适工具的辅助下,对异构数据进行采集,将结果按照一定的标准统一存储,利用合适的数据挖掘技术对存储的数据进行分析。从中提取有价值的信息,并利用恰当的方式将结果展示给终端用户。
1.2 大数据的发展
1.2.1 大数据的发展现状
21世纪,移动通信网络从第2代逐渐发展到的第3代、第4代及第5代(5G)。这是由于计算机,互联网,移动通信网络的迅速发展,网络中的数据量越来越庞大。
1.2.2 大数据的发展趋势
1.数据的资源化
2.与云计算的深度结合
3.科学理论的突破
4.数据共享平台的成立
5.推动各行业发展
6.隐私问题初现
1.3 大数据的应用
1.3.1 企业内部大数据
商业智能( Business Intelligence,BI )和联机分析处理( On-Line Analytical Processing, OLAP )是大数据应用的前身。
目前企业内部大数据的应用可以在多个方面提升企业的生产效率和竞争力。
例如,在市场方面可以更准确地了解消费者的使用行为,挖掘新的商业模式。
在供应链方面可以优化库存,优化物流,实现供应商协同,缓和供需之间的矛盾,控制预算开支,从而提升服务质量。
1.3.2 在线社交网络大数据
目前,在线社交网络大数据的应用包括网络舆情分析,网络情报收集与分析,社会化营销,政府决策支持。在线教育的。
从体而言,在线社交网络大数据的应用可以从以下三个方面帮助我们了解人的行为,掌握社会和经济活动的变化规律。
前期警告:通过监测用户使用电子设备及服务时出现的异常,再出现危机时更快速地应对。
实时监控:通过对用户当前行为,情感和意愿等方面的监控,为政策和方案的制定提供准确的信息。
实时反馈:在实时监控的基础上,针对某些社会活动获得群体的反馈信息。
1.3.3 健康医疗大数据
积极营造附近健康医疗大数据安全规范、创新应用的发展环境。
1.3.4 金融大数据
目前在全球范围内,互联网金融已经出现了以下三个重要的发展趋势。
移动支付代替传统支付业务
个人向个人(创业者)提供便捷借贷通道的 P2P 平台替代传统存贷款业务。
众筹融资替代传统证券业务。
金融大数据可以理解为反应人们金融交易行为互动的数据。金融大数据具有极大量、多维度和完备性等特征。
1.4 常用的数据挖掘工具
1.4.1 Tableau
将数据运算与美观的图表完美结合,容易上手。
1.4.2 Excel
方便的处理数据的办公软件。
1.4.3 SPSS Modeler
内置了丰富的数据挖掘算法,支持与数据库之间的数据和模型转换。
同时,其具有可视化的操作界面,具有简单易用,分析结果直观易懂,图形功能强大等特点。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/空白诗007/article/detail/765670
推荐阅读
article
第23篇
Android
Studio
第一个程序HelloWorld_
android
studio
...
第23篇
Android
Studio
第一个程序HelloWorld1.
Android
Studio
安装及其相关配置2....
赞
踩
article
揭秘微小
MySQL
表
DELETE
操作的隐形杀手:
事务
超时
大揭秘_
mysql
delete
语句
超时
...
本文详细探讨了在
MySQL
中,即使对小表执行
DELETE
操作也可能引发
事务
超时
的现象,原因包括锁等待、复杂JOIN、级联...
赞
踩
article
机器人
方向
毕业设计
论文
撰
写
体会(2019年更新)_
机器人
毕业
论文
的
结论怎么
写
...
机器人
方向
毕业设计
论文
撰
写
体会首先还是回答一个问题(啰嗦一下):
毕业设计
是什么?自己拿了一个课题,如何做,如何完成
的
全部...
赞
踩
article
hash
储存机制_
linux
c
hash
保存
对应
关系...
hash
存储机制Hash存储机制目录1 HASH存储 11.1 HASH存储 11.2 集合和引用 12 HASHMAP...
赞
踩
article
【
JAVA
-
Day54
】
Java
TreeMap
解析:工作原理、用法和应用实例_
treemap
使用
场...
作为一名
Java
开发者,熟练掌握集合类是至关重要的。其中,HashMap作为
Java
中常用的集合类之一,具有重要的地位。...
赞
踩
article
AI
领域
中
一个
被严重低估
的
方向
!...
大模型出来之后,模型不变,但数据量日新月异,重新训练模型
的
时间成本和能量花费都是不可接受
的
。连续学习以其快速适应能力,以...
赞
踩
article
基于
STM32
的
四
旋翼
无人机
项目
(一):
基础知识
篇_
stm32
无人机
制作全过程教程_
stm32
可以
用...
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数...
赞
踩
article
大
数据
之
分布式
理论
_
分布式
原理
大
數據...
文章目录1.
分布式
理论
基础1.1. 2PC和3PC(解决一致性)1.1.1. 一致性是什么1.1.2. 一致性的两个属...
赞
踩
article
数字
孪生智慧
能源
:
风光
储
一体化
能源
中心_
能源
数字
化
智能化
画图...
图扑软件以
储
能新技术为突破口,建设新一代电网友好型新
能源
示范电站可视化系统,其应用自研 HT for Web 产品的二三...
赞
踩
article
btrace
使用
记录...
关于作者:CSDN内容合伙人、技术专家, 从零开始做日活千万级APP。专注于分享各领域原创系列文章 ,擅长java后端、...
赞
踩
article
北邮实验作业
--
密码箱
_
小脚丫
管脚分配...
小脚丫
开发板构建
密码箱
_
小脚丫
管脚分配
小脚丫
管脚分配 前言 这是在我们大二上开始上课后...
赞
踩
article
华为
云
DTSE
服务
加速
开发者
体验
效率
提升和
创新
...
6月22日,
华为
开发者
大会(HDC 2024)“
DTSE
提供全旅程专业技术
服务
,助力
开发者
体验
效率
提升和
创新
”专题论坛,...
赞
踩
article
【
Python
】
Python
基本概念、
print
()
输出
函数、标准
数据类型
、
type
()函数与isi...
1、编译器&解释器 : 将代码编译成计算机能够识别的命令 计算机可以识别的机器码 0 1 区别: 编译器:全文...
赞
踩
article
Elasticsearch报错:received plaintext
http
traffic on...
笔者使用的是Windows版elasticsearch,但笔者觉得linux上的解决方法也是相通的,相信聪明的读者很快就...
赞
踩
article
探索
WeChatFerry
:
微信
自动化
助手
的
技术解析与
应用
...
探索
WeChatFerry
:
微信
自动化
助手
的
技术解析与
应用
项目地址:https://gitcode.com/lich08...
赞
踩
article
使用
EGO1
的
FPGA
开发板的基于
蓝牙
的点阵显示系统
设计
与实现_
ego1
蓝牙
模块...
这是作者在大三上学期电子技术课程的课程
设计
,最终成绩为优秀(95分)_
ego1
蓝牙
模块
ego1
蓝牙
模块 ...
赞
踩
article
【
orchestrator
】
001
架构
说明_
orchestrator
mha
...
mysql ha
orchestrator
_
orchestrator
mha
orchestrator
mha
...
赞
踩
article
基于
深度
学习
的人员
指纹
身份
识别
算法
matlab
仿真_
指纹
识别
模型...
指纹
识别
技术是一种生物特征
识别
技术,它通过分析人类手指末端皮肤表面的纹路特征来进行身份认证。
深度
学习
是机器
学习
的一个分支...
赞
踩
article
【QT】解决
QListview
无法调整自定义
model
中的
图片
大小问题_
qlistview
图片
...
解决
QListview
无法调整自定义
model
中的
图片
大小问题前段时间项目中需要使用QT的MVC来实现一个功能,由于刚刚...
赞
踩
article
用
QFileSystemModel
和
Listview
做
的
简易
图片
浏览...
QFileSystemModel
这个类今天第一次用到,个人理解QFileSystemMode这个类主要是用来监视文件系...
赞
踩
相关标签
android
java
mysql
数据库
面试
职场和发展
AI作画
stable diffusion
开发语言
毕业设计
人工智能
stm32
无人机
cocos2d
分布式
大数据
数字孪生
3D可视化
智慧储能
风光储
fpga开发
华为云
华为云开发者联盟
华为开发者大会2024