赞
踩
大数据导论通识课程
中国IT专业媒体上出现了“新摩尔定律”的提法,指的是中国Internet联网主机数和上网用户人数的递增速度,大约每半年就翻一番。
在技术产品的采用生命周期中,技术在从早期采用者到早期大众接纳过程有一个鸿沟,大部分技术产品无法跨越这个鸿沟就死掉了
https://www.bilibili.com/video/BV1jh4y1g7jP?t=70.4
1.弹性伸缩: 云计算允许根据业务需求自动调整计算资源,可以根据客户需求进行弹性扩展或缩减,提高资源利用率和性能。
2.资源共享: 多个用户可以共享云计算平台上的硬件和软件资源,提供高效的资源利用和节约成本。
3.快速部署: 云计算提供快速部署服务,可以快速创建和配置虚拟机、容器等,减少了传统的硬件部署和配置时间。
4.按需付费: 云计算采用按需付费模式,用户只需按照实际使用的资源量支付费用,降低了初始投资和运营成本。
5.高可靠性: 云计算平台通常具有冗余和备份机制,能够提供高可靠性和容灾能力。
6.跨地域访问: 用户可以通过互联网随时随地访问云计算平台上的资源和服务。
1.数量大:数据量超过传统数据库的存储、管理和处理能力;
2.多样性:包含结构化、半结构化和非结构化数据;
3.高速性:数据产生的速度非常快,需要快速采集、处理和分析;
4.价值密度低:大部分数据不具有直接的商业价值;
5.数据质量较低:包含很多噪声、缺失和重复的数据。
1.内部数据:来自组织内部的各种业务系统、数据库和日志文件等。例如,企业的销售数据、客户信息和生产数据等。
2.外部数据:来自外部来源的数据,包括公共数据集、第三方数据提供商、社交媒体和开放数据等。例如,政府公开数据、新闻媒体的数据和社交媒体上的用户生成内容等。
3.传感器数据:来自各种传感器设备的数据,例如物联网设备、智能手机和传感器网络等。这些数据可以是环境传感器、运动传感器、生物传感器等各种类型。
4.日志数据:来自系统和应用程序的日志文件,记录了系统和应用程序的运行状态、错误信息和活动日志等。这些数据对于故障排除、性能监测和安全分析非常重要。
5.图像和视频数据:来自摄像头、监控设备和图像/视频处理系统等的图像和视频数据。这些数据可以用于图像识别、目标检测和视频分析等应用。
6.文本数据:来自各种文本来源,例如电子邮件、社交媒体帖子、新闻文章和网页内容等。这些数据可以用于文本挖掘、情感分析和自然语言处理等任务。
7.音频数据:来自音频设备和音频处理系统的音频数据。这些数据可以是语音识别、语音合成和音频分析等领域的输入。
1.公开数据集:许多组织和机构会发布一些公开数据集,供研究和分析使用。例如,政府部门、学术机构、科研实验室等。
2.网络爬虫:通过编写网络爬虫程序,可以从互联网上抓取大量的数据。这些数据可以来自社交媒体、新闻网站、电子商务平台等。
3.传感器和物联网设备:随着物联网的发展,越来越多的设备开始收集和生成大量的数据。例如,传感器数据可以用于监测气象、交通、环境等方面。
用户行为数据:许多在线平台和应用程序会收集用户的行为数据,例如搜索引擎、社交媒体、电子商务平台等。
4.数据合作与共享:合作与共享是获取大数据的一种有效方式。通过与其他组织或个人合作,可以获取到更多的数据资源。
5.数据购买:一些数据供应商提供各种类型的数据集,可以直接购买所需的数据。
6.数据众包:通过众包的方式,可以将任务分发给大量的志愿者或工人,从而获取到大规模的数据。
7.采样与调查:通过采样和调查的方式,可以获取到一部分的大数据,并据此进行分析和建模。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。