AI实战营：深度学习预训练与MMPreTrain

目录

一、MMPretrain算法库介绍

二、经典主干网络

残差网络ResNet（2015）

Vision Transformer(2020)

三、自监督学习

四、多模态算法

---

 

一、MMPretrain算法库介绍

• 算法库与任务组成&框架概览
  • 预训练工具箱MMPretrain
    • 
    • 
  • Python推理API
    • 
  • 环境搭建
    • 
  • OpenMMLab项目中的重要概念——配置文件
    • 
  • 代码框架
    • 
  • 数据流
    • 
  • 配置文件的运行方式
    • 

二、经典主干网络

• 深度神经网络
  • 
• 精度退化问题
  • 
• 实验的反直觉
  • 
• 残差学习的基本思路
• ResNet中的两种残差模块
  • 

• 残差网络ResNet（2015）

  • 
  • 
• ResNet的成就和影响力
  • 

• Vision Transformer(2020)

  • 
  • 注意力机制Attention Mechanism
    • 

    • Why Attention

      • 

    • Attention for 1D data

      • 

    • Multi-head

      • 

三、自监督学习

• 自监督学习的常见类型
  • 
• SIMCLR（ICML 2020）
  • 

  • 

• MAE（Masked Autoencoders, CVPR 2022）
  • 

   

四、多模态算法

• CLIP（ICML 2021）
  • 
  • 

BLIP

 

• 
• 
• 
• 
•