搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
Li_阴宅
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
硬核!C语言八大排序算法,附动图和详细代码解释!
2
全球的MLOps和ML工具概览_变成:什么是基于ml的工具,ml是什么意思
3
Python日志(logging)_python记录日志文件
4
VUE ElementUI Admin使用table时,选中某行或者鼠标移入某行时添加背景色_elementui表格选中用什么色加深
5
Windows Server 2019 DHCP服务器搭建_windowserver配置服务器ip
6
【内网穿透】配置公网访问,实现远程连接到内网群晖NAS 6.X_群辉远程连接
7
解决 kali 中使用 vulhub 拉取不到镜像问题
8
怎样解决Kafka出现的数据积压问题?_kafka某个topic积压消息
9
浅谈 DDoS 攻击与防御_ddos中间件
10
Sort排序_sort 排序
当前位置:
article
> 正文
AWS Sagemaker详解
作者:Li_阴宅 | 2024-07-18 08:54:33
赞
踩
aws sagemaker
Sagemaker各个组件的介绍
Ground Truth
Sagemaker Ground Truth Labeling platform。
图片语义分析= Amazon SageMaker Ground Truth semantic segmentation labeling task
Ground Truth Active Learning will require human labelling only when needed, works well with small internal team
Carify
Sagemaker Clarify 评估模型,解释模型(SHAP),优化模型。
检测数据偏差(bias)。
Debugger
Sagemaker Debugger可以监控模型训练中的weights,梯度等,并据此优化模型提高计算效率。
Sagemaker Debugger可以展示SHAP。
Monitor
Sagemaker Monitor监控 model drift。
Data Wrangler(特征工程、数据准备)
Sagemaker Data Wrangler preconfigured transformation/template快速探索特征和数据准备。
Data Wrangler还可以检测样本的outliers、bias。以及进行归一化。
AutoPilot
Amazon SageMaker Autopilot 无代码ML,但不支持custom container。
Canvas
无代码数据准备。
Endpoint
一个Sagemaker endpoint可以带多个model production variants。通过DesiredWeight提高模型Variant的使用率。
A/B test=create a new endpoint configuration with two variant then update the existing endpoint.
Experiment
Sagemaker Experiment比较不同模型、不同参数、不同数据的训练效果。支持custom container。
NEO
Sagemaker Neo优化模型,使机器学习模型预测可在云和边缘站点中的任何位置运行。
Feature Store特征商店
Online feature store for online inference。Offline store for training。
Feature store GetRecord API获取最新的record。
网络、安全、日志相关
Sagemaker的instance可以建在用户的VPC中,也可以在AWS Managed Service Account在VPC中。
Sagemaker的如下信息可以在Cloudwatch中看:
Sagemaker服务器情况
模型性能
模型运行日志
CloudTrail可以记录模型的部署事件,Sagemaker API调用。
Notebook instance在private subnet时,可以用S3 VPC endpoint来访问S3.
Notebook instance can disable internet access.
Sagemaker VPC interface endpoint(severless)可以配合AWS PrivateLink。
限制Sagemaker API call的IAM User = VPC endpoint policy。限制Sagemaker API call的instance = security group
Network isolation for training jobs处理机密或敏感数据。
private workforce in Amazon SageMaker Ground Truth make the data accessible to authorized users only.
Notebook presigned URL can restrict IP.
Sagemaker的Jupyter Notebook能自动打补丁。
通过RAM跨账号分享特征。
成本相关
GPU服务器高效使用 = ECS with GPU
AWS Deep Learning Containers+AWS Batch+spot instance=省钱运行长时间的机器学习任务
Endpoint instance自动扩缩容
Managed spot training with job checkpoint enabled.
Sagemaker batch transform=Serverless Inference
Amazon Elastic Inference(retired)
Sagamaker Debugger vanishing_gradient and LowGPUUtilization rules
调整CPU:GPU ratio
技巧
Sagemaker访问大量的训练数据,使用pipe input mode处理大文件,Fastfile mode处理S3小文件。
RecordIO是Sagemaker中专用的提升模型训练速度的数据格式,支持图片。
Sagemaker支持使用ECR中的自定义镜像。
Sagemaker ENTRYPOINT用来指向自定义容器的训练程序。
Sagemaker Python SDK支持私域训练。(no WiFi)
Lifecycle configuration enable auto package installation.
Sagemaker endpoint重新训练后有violation=run the model monitor baseline job again
Sagemaker可以读取EFS。
Sagemaker notebook可以通过glue development endpoint来创建。
Sagemaker Pipeline 调度模型的取数,训练和部署。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/Li_阴宅/article/detail/844619
推荐阅读
article
Hadoop3
:MR
程序处理
小
文件
的
优化办法(
uber
模式
)...
Hadoop
Hadoop3
:MR
程序处理
小
文件
的
优化办法(
uber
模式
) ...
赞
踩
article
ElasticSearch
集群
管理:掌握
集群
部署
、
配置
_
elasticsearch
集群
部署
...
以上内容是基于要求撰写的一个大纲和示例,实际的文章需要根据这个大纲进一步扩展和填充细节,以确保达到2600字以上的篇幅。...
赞
踩
article
pip
install
和
conda
install
的区别_
conda
install
和
pip
i...
pip
install
和
conda
install
两个指令安装库的区别_
conda
install
和
pip
inst...
赞
踩
article
cookies
,
sessionStorage
和
localStorage
都有什么区别...
cookies
,
sessionStorage
和
localStorage
都有什么区别
cookies
在请求数据传输的时候会携...
赞
踩
article
vue2
实现原生
WebSocket
_
vue2
创建
一个简单的
websocket
服务器
。...
原生
WebSocket
: new
WebSocket
。
_
vue2
创建
一个简单的
websocket
服务器
。
vue2
创建
一个...
赞
踩
article
2024年Go最新
机器人
避障
系统
基础
_
避障
算法
(2),2024年最新看完全都会了
_
机器人
避障
轨迹
规划
...
加速度计是一种用来测量加速力的传感器,加速力是在物体在加速过程中作用在物体上的力,例如地球引力,也就是重力;我们可以通过...
赞
踩
article
Selenium
被
检测
为爬虫
,
怎么
屏蔽
和
绕过!...
01、
Selenium
操作
被
屏蔽
、使用selenium自动化网页时
,
有一定的概率会
被
目标网站识别
,
一旦
被
检测
到
,
目标网...
赞
踩
article
[渝粤教育] 西南交通
大学
大学
生
的
智慧
篮球
参考
资料
_
移动
技术
的
优劣
在
一定程度
上
反映了一名
篮球
运...
教育-
大学
生
的
智慧
篮球
-章节
资料
考试
资料
-西南交通
大学
【】
篮球
脚步
移动
技术
章节测试1、【单选题】
移动
技术
的
优劣
在
一定程度...
赞
踩
article
TGI
基准
测试...
本文主要探讨
TGI
的小兄弟 -
TGI
基准
测试工具。它能帮助我们超越简单的吞吐量指标,对
TGI
进行更全面的性能剖析,...
赞
踩
article
Java
LeetCode
篇-深入了解
二叉树
经典解法(三种方式实现:获取
二叉树
的
最大
深度
)_
java
...
1.0 对称
二叉树
、2.0
二叉树
的
最大
深度
、3.0
二叉树
的
最小
深度
、4.0 翻转
二叉树
_
java
计算
二叉树
的
深度
代...
赞
踩
article
hadoop
学习中的
常见问题
及
解决办法
_
hadoop
-
env
.
sh
打开后什么也
没有
...
1.
hadoop
:找不到命令原因:
没有
配置环境变量
解决办法
:在Linux环境内下输入export PATH=$PATH:...
赞
踩
article
python
线性
整数
规划
求解_实例详解:
用
Python
解决
整数
规划
问题
!...
我们将使
用
整数
规划
来做出最佳决策
整数
规划
(IP)
问题
是所有变量都被限制为
整数
的优化
问题
(指
规划
中的变量(全部或部分)限制...
赞
踩
article
uniapp
小程序
上传
pdf
文件...
【代码】
uniapp
小程序
上传
pdf
文件。
uniapp
小程序
上传
pdf
文件 <te...
赞
踩
article
jasypt
、
druid
在线
加解密
_
jasypt
在线...
jasypt
、
druid
在线
加解密
每次都要自己写
加解密
方法,麻烦又不好找,不如收藏一个站点,随时在线
加解密
,完美实...
赞
踩
article
成像光谱
遥感
技术中的AI革命:
ChatGPT
在
遥感
领域中的
应用
_
人工智能
在
遥感
中的
应用
...
遥感
技术主要通过卫星和飞机从远处观察和测量我们的环境,是理解和监测地球物理、化学和生物系统的基石。
ChatGPT
是由Op...
赞
踩
article
【
微
服务
系列】
RPC
基础_
微
服务
rpc
...
本系列准备介绍
微
服务
框架的相关内容,以我目前在用的kite框架为栗子,也扩展一些业界常见的实现,主要包括一下的部分:1....
赞
踩
article
微
服务
(
Microservice
)
架构
快速指南_
cppmicroservice
...
原文链接:http://www.jdon.com/soa/microservice-architecture.html
微
...
赞
踩
article
Games101
学习笔记
Lecture
20:
Color
and
Perception
...
Pθϕ)λPθϕλ)PθϕλtVxVyVz。
Games101
学习笔记
Lecture
20:
Color
and ...
赞
踩
article
使用
Gradle
引入
AAR
库的两种方式_gradle8.0怎样
引入
uniapp
-v8-rel...
AAR
文件是 Android 的一个归档格式,类似于 JAR 文件,但它除了包含编译后的代码外,还包含资源文件、And...
赞
踩
article
网页
爬虫
:零基础
用
爬虫
爬取
网页
内容
...
网络上有许多
用
Python 爬取
网页
内容
的教程,但一般需要写代码,没有相应基础的人要想短时间内上手,还是有门槛的。其实...
赞
踩
相关标签
mr
elasticsearch
jenkins
大数据
pip
conda
python
前端
websocket
网络
go
学习
面试
selenium
测试工具
软件测试
自动化测试
测试工程师
yuyuetiku.com
国家开放大学
渝粤教育
leetcode
算法
职场和发展