深度学习：学习路线与规划_深度学习学习路线

2024.01.12 补充

• 最近有接触到mmyolo库，开始探索mm系列框架，尝试搭积木的快乐
  mmyolo也提供了丰富的中文文档。
  • 掌握框架最快的方式，就是从ipynb一点点开始探索代码结构；并保留debug的结果。
    从dir(obj), vars(obj), obj.__class__.__mro__等开始
  • 从一个个小的demo开始做测试，慢慢去展开子函数的功能，再回到调用代码的地方。
    写注释、写代码结构图、调用关系图、数据流向图；写demo；都可以；
    主打一个快速掌握
• 框架是做感知算法工程师必不可少的roadmap，同掌握docker一样，都是很好的工具！掌握注册机制，掌握mm系列
• 框架有几个好处：
  • 1. 方便代码合并和共存；需要同同事合作的项目，可以在此基础上共同开发；可以让大家通过改配置文件和新开文件的方式让大家的代码共存。
  • 2. 更快的进行迭代、更快进行消融实验。搭积木的方式，使得做实验只需要替换模块即可。方便快捷，可以快速拿到结果。
  • 3. mmyolo从训练、部署、模型转换、数据集统计等提供了丰富的接口可以供使用者更深入的了解；同时在此基础上可以开发自己工具包。可以更方便的进行更新迭代；同时mmdeploy也有关于部署方面的教程；mmyolo还有关于训练的trick和建议。都是很适合新手去探索的文档。

2023.09.15 补充

•  向大家分享一下我最近的工作：yolov5 三个yolo层可视化__helen_520的博客-CSDN博客
  最近比较忙碌，开始进入了实战；yolov5暂时不需要太多的技巧来训练；将时间都放在对结果的分析上了。比如特征可视化、分类器效果分析；可以定位一些基础的问题，对网络的理解也更深入了。

• 更神奇的是对编程的理解：体会到函数式编程带来的好处——可以简单的代码重复测试多个图像。在ipynb中进行编程，实在是太棒了。

2023.7.27 补充

• 正好距离上次更新，又过去了一年，这一年里我做了哪些事情呢？
  • ① fastai ssd 看了好几遍；尝试了Icevision等，想要计算出mAP，最后都失败告终！mAP困扰了近半年。
  • ② [强烈推荐！！] 最近最大的收获是：跟着bilibili看目标检测的内容，进步较快 霹雳吧啦Wz的个人空间-霹雳吧啦Wz个人主页-哔哩哔哩视频
    • 对于了解目标检测的经典代码和思想，很快；可以很快步入：跑通demo并理解原理的阶段，paper也可以继续看。
  • ③ 在fastai的lesson上学习到了BN等基础知识；在bilibili上迅速复现跑通理解经典代码
  • ④ 下一步？还在探索！

 2022.07.28 补充

• 目前对我帮助最大的应该是fastai，lesson1~lesson12 2019。part1: lesson1~lesson7；part2: lesson8~lesson12
  • 我做完了这个课程的中文笔记：fastai 2019 笔记汇总 lesson1~lesson12 中文笔记__helen_520的博客-CSDN博客
  • 中文笔记仓库地址：https://github.com/HaronCHou/fastai-notes
• 目前还是在不断地消化和吸收fastai的内容，不断的做练习，改参数、看结果；主要是把网络的黑盒子打开，哪些work，哪些不work
• 下一步计划是：能够在fastai的练习基础上，去迁移Yolo的训练；如果能有所收获就太棒了！
• 接下来会在激光雷达方向做深度学习的工作，也期望图像这边的经验能够有所复用！

---

2021年11月17日 补充：

学习笔记如下：

https://github.com/HaronCHou/deeplearning-assignmenthttps://github.com/HaronCHou/deeplearning-assignment

• 下面的东西都太数学，没有动手的部分。
• 参考的学习方法和思路如下：
  fastai 2020 lesson0 笔记_hello world-CSDN博客
•  推荐的深度学习内容：
  fastai 2019 笔记汇总 lesson1~lesson12 中文笔记_hello world-CSDN博客

 2023年09月15日

• 看到最近有很多网友点赞和收藏这篇博客；特此更新提醒一下。
• 经过这么久的摸索，我推荐此分割线以上的内容，此分割线以下的内容不要再参考了
• 推荐大家去关注Jeremy的fastai课程（下面的fastai课程见解）、Jeremy 2020course的lesson 0 、Radek的书《meta learning》
  • 《Meta Learning》中文翻译版：有道云笔记 有条件的人士还是去给Radek支持一下吧，码字不容易；Radek获得了Kaggle比赛的第一名；
  • Radek不会编程，29岁才开始学习深度学习，没有大学文凭；后来开始全职做深度学习；现在在nvidia公司做深度学习方面的工程师；他最大的收获是学习了fastai课程；他在fastai的forum社区和twitter上非常活跃；最近在做GPT相关的工作。
  • Radek的road是最适合大家复制的；看他的书；看他的twitter，可以看他以前的twitter，记录了他的成长之路。

---

0. 为了入门深度学习，我做过的攻略/参考的学习路线   下面的内容不推荐了 别看书了

01. 深度学习如何入门？——知乎回答

•  深度学习如何入门？ - 知乎 
  量子位的回答是源于一个英文博客，竟然国外入门也看吴恩达。他的路线我基本都走过

  但最值得推荐的还是fastai，看完fastai后，才觉得自己是真正入门了！

• https://www.zhihu.com/question/26006703/answer/135825424http://深度学习如何入门？ - Deeper Go的回答 - 知乎 

• 量子位的推荐如下：（来自英文博客的转载，原文为；Masum Hasan https://masum-hasan.medium.com/absolute-beginners-guide-to-machine-learning-and-deep-learning-7fa032944047https://masum-hasan.medium.com/absolute-beginners-guide-to-machine-learning-and-deep-learning-7fa032944047（五个月入门机器学习）
  第 1 部分：从机器学习开始，2 个月

  1. 吴恩达《机器学习》 coursera

  2. 3blue1brown,bilibili / youtube 《神经网络》讲解视频 3Blue1Brown的个人空间_哔哩哔哩_Bilibili

  3. Michael A. Nielsen的《神经网络和深度学习》一书的前两章 （中文有翻译版）引言 | 神经网络与深度学习

  4. Chiristopher Olah的博客：colah.github.io http://colah.github.io/

第 2 部分：深度学习，我来了（1 个月）一个月入门深度学习：

1. Goodfellow的花书《深度学习》有中文翻译版
2. 吴恩达《深度学习专项系列课程》

第三部分：深度学习的实际实现（1~2个月）深度学习上手练（两个月）：

1. fastai    （我基本上学完了这门课程之后，才觉得自己有真正入门）  course.fast.ai/
2. CS231n和CS224n，CS231n计算机视觉的深度学习

这就是五个月的入门阶段的内容。

其它资源：

• YouTube上有一个两分钟读论文的系列视频https://www.youtube.com/user/keeroyz，帮助快速了解全球深度学习的最热门进展
• 还可以在 YouTube 上关注 Siraj Raval。
• 关注机器学习的进展，Twitter是一个绝佳的工具。（Jeremy也提到了这一点）
• 遇到困难的时候，reddit和Facebook上有很多志同道合的人，不要犹豫，在社区里寻求帮助，大家会伸出援手。

--------------------

-----------------------------------------

02 完备的AI学习路线

processon上面的一个大纲，写的还不错！

AI 学习路线-思维笔记|ProcessOnOutlinehttps://processon.com/outline/view/5ce7debae4b0899ed43ae577

• 一、基础：python、数学

• 二、机器学习公开课：吴恩达、林轩田《机器学习基石》《机器学习技法》、西瓜书、《统计学习方法》、《sklearn与TensorFlow机器学习实用指南》（四大名著之一的那个）

• 三、实战：Kaggle比赛

• 四、深度学习公开课：吴恩达《深度学习》、fastai《程序员深度学习实战》、CS230 Deep Learning斯坦福。

  • 书籍：深度学习（花书）、深度学习 500 问（500个问题和答案）

  • 工具：PyTorch官方文档，中方文档

• 五、强化学习：公开课：李宏毅《深度强化学习》

• 六、前沿paper：Arxiv、 Papers with Code、Deep Learning Papers 阅读路线、Deep Learning Object Detection

• 七、理论应用

  • 计算机视觉

03 深度学习阅读路线

deeplearning paper reading map:

https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmaphttps://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap

04 fastai课程介绍

 fast.ai中的内容摘要：

1. 如何问问题？

• 为了解决问题，你做了哪些尝试？

 

---

 05. 其他人的入门路线

我的机器学习入门路线图-红色石头的个人博客因为之前有不少朋友在微信或 QQ 上问我，机器学习、深度学习应该如何入门呢？对应这一问题，红色石头碰巧也在知乎上看到有人提问，就把自己的入门学习经验好好总结了一https://redstonewill.com/1440/这个基本就是看书读书的路线。根据Jeremy的说法，见fastai 2020 lesson0 笔记_hello world-CSDN博客，我觉得看了等于没看。没有实战，记不住。

 06. 有三AI的《视觉算法工程师成长指导手册》

看一看就行。没有太大的帮助。

---

2020年7月原blog：

1、数学方面的补充

• 《矩阵论》程鹏，复习了矩阵分解等方面的内容
• 《随机过程》张颢 相关、PCA、高斯过程、泊松过程、马尔科夫链
• 《数字信号处理》张颢，学习中

2、机器学习

• 吴恩达coursera《机器学习》视频：偏重理论和基础实践，在工程中的作用有限
• 吴恩达coursera《深度学习》——中国海洋大学博士的整理文档：也只是基础的认识，神经网络的反向过程等，在工程中的作用有限
• 深度学习四大名著：《scikit-learn与TensorFlow机器学习实用指南》比较倾向于实战，python的代码实战。
• Kaggle的入门赛：Titanic
• 知乎课堂回答的：机器学习该怎么入门？第一阶段：入门
  • 快速看完《西瓜书》
  • 看吴恩达的《机器学习》
  • 调包跑算法。sklearn。对算法有一个感性的认识，并提高动手能力。我现在应该处于这个阶段。
• 知乎课堂回答的：机器学习该怎么入门？第二阶段：进阶
  • 学习《统计学习方法》《西瓜书》
  • 学习书本以外的常用算法
  • 学习特征工程、打比赛
• 知乎课堂回答的：机器学习该怎么入门？第三阶段：精通
  • 深入了解算法细节，对比各大算法差异
  • 学习算法在工业中的应用，看源代码
  • 看论文
  • 写博客

当前仍处于调包跑算法的阶段！

​