ACA(大数据助理工程师备考)笔记_阿里aca大数据笔记

为什么

1.移动互联网发展

2.数据价值

3.存储和计算能力提升

4v

1.体积巨大

2.处理速度快

3.价值密度低

4.种类多

来源

结构化

半结构化

非结构化

云计算大数据关系

云计算提供 计算与存储

大数据 在其基础上进行应用

比如

大数据发展历史

大数据处理问题思路

分而治之

存储技术

分布式文件系统

大数据分析技术

 Hadoop生态圈

阿里云大数据产品

业务流程

产品映射

 存储与数据库产品

数据同步

数据开发与分析

应用

构建离线数据仓库

将各种不同数据源的的不同类型数据同步至MaxCompute中,在MaxCompute中完成数据批处理后，再同步至相关的数据库进行展示。

实时流处理

通过DataHub工具，将ECS集群.上业务系统产生的实时数据或者日志同步至MaxCompute
中进行加工处理，处理后的数据同步至云数据库; .或者直接进行实时计算,将实时计算的结果，同步保存至云数据库，供实时或离线应用使用。

 构建应用系统

业务系统在ECS集群部署相关的应用程序，相关的业务数据存储在云数据库RDS内;通过数据工场DataWorks将数据库RDS内的业务数据同步至大数据计算服务MaxCompute中，进行数据加工处理后，再通过DataWorks同步至数据库RDS中;数据库RDS、数据计算服务MaxCompute中的数据可通过DataV.Quick BI进行展示。

营销数据分析

业务系统的业务数据分别存储在数据库RDS、数据库MongoDB中;通过DataWorks将业务数据同步至MaxCompute中，进行数据加工处理，然后通过机器学习PAI进行数据挖掘，为系统提供营销推荐功能，或者直接使用Quick Bl进行数据分析展现;也可直接将业务数据通过DataWorks同步至
云原生数据仓库AnalyticDB进行分析,并使用Quick BI工具进行多维组合查询。

 

maxcompute

大数据计算服务(MaxCompute) 是一种快速、完全托管的EB级数据仓库解决方案。
●致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。
●适用于100GB以 上规模的存储及计算需求，最大可达EB级别。
●支持SQL、 MapReduce、 UDF (Java/Python) 、Graph、 基于DAG的处理、交互式、内存计算、机器学习等计算类型及MPI迭代类算法。简化了企业大数据平台的应用架构。

分布式
分布式集群架构
跨集群技术突破
集群规模可扩展

安全性
自动存储容错
安全沙箱机制
冗余存储机制

易用性
标准接口服务
数据上传下载
支持SQL语句.

管理与授权
多用户的管理协同
多种方式权限管理
灵活访问控制策略

低成本
免运维
弹性伸缩
灵活计费模式

maxcompute逻辑架构

接入层

逻辑层

 

计算层

QuickBI

商业智能(Business Intelligence,简称: BI) ,又称商业智慧或商务智能，指用现代数据仓库技
术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
●商业智能是一种将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。是对商业信息的搜集、管理和
分析过程。
●商业智能通过数据分析平台或BI报表工具中构建分析报表或可视化图表等手段，对数据分析结果进行可视化呈现，目的是让
企业的决策者获得知识或洞察力，做出更有利的决策。

BI报表工具以数据仓库为基础，通过表格及一系列可视化图表为企业管理者提供决策支持，帮助管理
者更加快速精确的洞查业务机会，提升企业竞争力。
●通过数据分析平台(BI报表工具)可方便快捷的实现多元化的报表设计以及数据分析。
通过BI报表工具中常用的图表组件可构建可视化应用。
●通过集合多个可视化应用可构建数据门户进行各业务专题分析。

产品架构

聚类算法

机器学习步骤