材料

我们首先了解各个大学的课程情况和特点，这样可以有针对性地学习。我们然后了解这些课程使用的课本。一本好书非常关键，因为上课为看书打开了一扇门。我们最后介绍相关的作业情况。

课程

在各个大学的课程中，由浅入深，有四类课程：

• 第一类是人工智能（AI）课程。其中 MDP 和 RL 学习一般会占 4 个学时，包括一个练习。
• 第二类是深度学习（DL）课程。其中深度增强学习（DRL）可能会占 2 个学时，包括一个练习。

这两类课程的内容和练习都适合入门。

• 第三类是增强学习（RL）课程。会有一个学期的课程，一套练习及作业。
• 第四类是深度增强学习（DRL）课程。也是一个学期的课程，一套练习及作业。

这两类课程就比较深入了。

最后还有一类课程是机器人的课程。因为机器人的设计是 AI 的前沿，所以，有专门的课程。

不同的大学和机构，课程也有自己的特色。从浅到深，有以下 7 所大学的课程，值得注意。

1. 哈佛 CS50 AI。它面向哈佛本科大一的同学。因为哈佛追求的是通识教育，然后它的学生，在大一并不分科，所以，哈佛大学的课程，最适合寻找自己兴趣的同学入门。该课程中，只包括 Q-learning 的一个简单介绍，一个练习。以体验为主。

2. 滑铁卢大学 Pascal Poupart 老师的 AI/RL 课程。Poupart 的课程内容和练习的覆盖面足够宽，非常精彩。因此，本部分内容，就是以他的 PPT 为主要参考材料。

3. 上海交通大学 APEX 数据和知识管理实验室伯禹学习平台的《动手学强化学习》课程。该课程有三个特点：a）内容先进、全面。其内容和滑铁卢大学课程非常一致，包括三部分：基础、进阶、前沿；b）课程脱胎于上海交大电信和电气两个学院的大三本科生课程，所以，非常适合非计算机专业的本科生学习；c）有一个内容全面的网站，包括全套中文教材（里面还有很多漫画）、Jupyter Notebook、PPT、视频、图书。

4. 斯坦福大学的 AI/RL/DRL 课程。斯坦福大学有着非常好的 AI 教学传统，老师的学术造诣非常深，学生非常优秀，所以，这些课程，水准很高。

5. 伯克利大学的 ML/DL/AI/RL/RL-Bootcamp 课程。伯克利大学是公立学校，所以，伯克利的课程有三个特点：1）老师非常有分享精神，所有课程都有视频。这简直太好了。这意味着：我们可以聆听到这些老师的课程；2）针对普通本科生，所以讲得非常浅显易懂；3）伯克利的老师非常喜欢和业界顶尖公司（比如 OpenAI、DeepMind）喜欢教学的人士交流，所以，它的课程内容非常接地气。所以，本部分内容，以伯克利的 PPT 为次要参考材料。

6. DeepMind David Silver 在英国 UCL 开创的 RL 课程。这个课程虽然是 2015 年的，但因为 Silver 是一手做出 AlphaGo 的人，所以，他讲解的角度，非常切合实际，所以，至今价值依旧。这个课程在 2021 年由 DeepMind 的另外的老师推出了更新版。然后，Dennis 老师配合 Silver 的课程，有一套完整的算法实现，也非常有意思。

7. 西湖大学的 RL 数学基础课程。思炜同学对这个课程看了 2 遍，然后给我们有细致的讲解。确实讲得非常清楚。

如果想要了解一个顶尖大学的 AI 课程设置，看斯坦福大学的 AI 课程列表，无疑就可以了。从中我们可以看出，AI 对我们未来的改变将会多大。

下面是详细的课程列表：

• 滑铁卢大学 CS486 AI 和 CS885 RL。其中，CS486 AI 从 15 讲 Decision Networks 到第 23 讲 Multi-agent RL；CS885 RL 的全部 PPT

• 上海交大伯禹增强学习 在线学习网站，在线课本，Slides，练习 Notebook

• 伯克利大学 CS182-DL 2021, CS188-AI, CS189-ML, CS285-RL, RL BootCamp 2017

• DeepMind Silver-2015, Denny Code, Hasselt-2021, 视频

• 斯坦福 CS221-AI, CS224R-DRL, CS234-RL, CS 234 Winter 2019 视频

• 西湖大学赵世钰老师，强化学习的数学原理：从零开始到透彻理解：视频，Github, onedrive链接, 课程PPT

课本

神经元网络和深度学习的入门图书

• [MN] Michael Nielsen (2018). Neural Networks and Deep Learning (Free online book)

上面这本书的特点是：它讲原理。我很喜欢这本书。

• Dive in Deep Learning

上面这本书的特点是：原理和代码都讲得极为清楚。强烈推荐。伯禹教育推出了中文版

• [GBC] Ian Goodfellow, Yoshua Bengio and Aaron Courville, Deep Learning (2016) freely available online

AI 课本

• [RusNor] Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (4th Edition) (2020)

上面这本书是绝对的经典。我都无法想象作者能把这本书写出来。拜服。

增强学习课本

• [SutBar] Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction (2nd edition, 2018) freely available online

上面这本书是当然的经典。思炜学过

增强学习编程

• [ZB] Alex Zai and Brandon Brown, Deep Reinforcement Learning in Action (2nd edition, 2020) freely available online
• [L] Maxim Lapan, Deep Reinforcement Learning Hands On (2020)
• [GK] Laura Graesser and Wah Loon Keng, Foundations of Deep Reinforcement Learning: Theory and Practice in Python (2020)

增强学习算法

• [Sze] Csaba Szepesvari, Algorithms for Reinforcement Learning freely available online
• [SigBuf] Olivier Sigaud and Olivier Buffet (editors), Markov Decision Processes in Artificial Intelligence (2013)
• [Put] Martin L. Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming (2008)
• [Ber] Dimitri P. Bertsekas, Dynamic Programming and Optimal Control (2017)
• [Pow] Warren B. Powell, Approximate Dynamic Programming: Solving the Curses of Dimensionality (2015)

练习和项目

我们采用上面提到的课程的练习，详见下面的各节后面的练习。此外，还可以做一些项目：

• 斯坦福 CS234 项目列表

其他

• Sutton 老师所在的加拿大 Alberta 大学强化学习课程，Coursera