目录

入门
数学
机器学习概念
深度神经元网络
CNN
表征学习和可视化
RNN
NLP
生成模型
图卷积网络
增强学习原理
RL应用
RL前线
概念自测

返回主页

材料

导学视频	B站《深度学习课程入门：理论与编程》，2019年7月。40分钟，介绍了下面学习内容的选择原则和建议学习方法
主课	Berkeley CS182 深度神经元网络的设计和理解：课程材料（2019年春），Youtube视频（2016年秋，那时候叫CS294-129） Toronto CSC421 深度学习：2019年冬 EPFL EE559 深度学习原理及其PyTorch 1.0实现：2019年春 Paris Saclay 深度学习：2019年春 MIT 6.S191 深度学习：2019年春 NYU DL深度学习：2019（学生合作课件，Latex源文件，练习），2018（课程材料，学生合作课件）
参考课	CMU 10707 深度学习，2019年春，2017年（B站视频）
前置课程	微积分，线性代数：Math 53/54 概率：CS70，Stat 134 机器学习：CS189 编程（Python）：CS61B
课本	深度学习: 英文版，中文版，2016 增强学习，2017 Bishop (2006) Pattern Recognition and Machine Learning Murphy Machine Learning: A Probabilistic Perspective Hastie (2009) The Elements of Statistical Learning MacKay (2003) Information Theory, Inference, and Learning Algorithms CS189 Book：A Comprehensive Guide to Machine Learning，2018 神经网络与深度学习, 邱锡鹏 Neural Networks and Deep Learning, Michael A. Nielsen Introduction to Deep Learning, Eugene Charniak
PyTorch权威学习样例	官方Tutorial YunJey Tutorial 官方Examples Blitz Tutorial MILA各种模型Benchmark MILA新生培训教程
Keras权威学习样例	官方Tutorial fchollet Tutorial

返回目录

入门

内容	Overview, brief history of deep networks
课本	深度学习，Ch.1 Introduction
材料	CS182 Lec 1 Toronto CSC421 Lec/Note 1 introduction
练习	CS231n Python/Numpy tutorial EE559 Prasctical 1: PyTorch入门

返回目录

数学

内容	数学
课本	深度学习，Ch.2 线性代数深度学习，Ch.3 概率、信息论深度学习，Ch.4 数值计算
练习	EE559 Handout Ch.1 Intro Toronto CSC421 Tutorial 1 多变量微积分

返回目录

机器学习

内容	Loss and Risk, Discriminative models, Linear and Logistic Regression. Bias-Variance tradeoff, Regularization, SVMs, Multiclass classification, Softmax. Cross-validation. Stochastic Gradient Descent
课本	深度学习，Ch.5 ML CS 189 Sec. 1，regression，validation CS 189 Sec. 6.6-6.11，分类，SVM，LR (skip KL-div，Tikhonov)
材料	CS182 Lec 2，3；Note 1，2 Toronto CSC421 Lec/Note 2 linear models
练习	EE559 Prasctical 2: PyTorch 图像最近邻，PCA EE559 Handout Ch.2 ML

返回目录

深度神经元网络

内容	Backpropagation Training: Batch normalization, Dropout, Ensembles, Hyperparameter tuning
课本	深度学习，Ch.6 深度前向网络深度学习，Ch.7 Regularization 深度学习，Ch.8 优化
材料	CS182 Lec 4，Note 3 CS231 Note: 优化, 深度神经元网络优化 MIT 6.S191 Lec 1 Toronto CSC421 Lec/Note 3 MLP, 4 BP , 6 Autograd, 7 optimize, 12 generalization
练习	Andrej Karpathy: Build a Neural Network from Scratch Toronto CSC421 Lec 3 Demo Toronto CSC421 Tutorial 2 Autograd Toronto CSC421 Tutorial 3 PyTorch Toronto CSC421 HW 1 BP，Activation Toronto CSC421 HW 2 Optimization Paris Saclay 深度学习 Lab 1 Introduction Paris Saclay 深度学习 Lab 2 NN and BP NYU DL Assignment 1: BP EE559 Handout Ch.3 MLP and BP EE559 Handout Ch.4 DAG, Autograd, CNN EE559 Handout Ch.5 初始化，优化 EE559 Handout Ch.6 Dropout，BN，Residual，GPU EE559 Prasctical 3: 图像分类 CS181 Assign 1，修改代码，用Python实现下面功能全联通NN Batch normalization Dropout

返回目录

CNN

内容	Convolutional Networks, CNN examples, Activation functions, Initialization Object Detection and Segmentation
课本	深度学习，Ch.9 CNN 深度学习，Ch.12.2 CV
材料	CS182 Lec 5-8 CS182 Note 4 CNN，深度网络训练方法：1，2，3 目标检测入门，语义分割入门 MIT 6.S191 Lec 3 Toronto CSC421 Lec/Note 9 CNN, 10 图像分类
练习	Toronto CSC421 Tutorial 4 CNN Paris Saclay 深度学习 Lab 5 目标检测、语义分割 Paris Saclay 深度学习 Lab 8 PyTorch练习 NYU DL Assignment 2: 卷积和深度NN能力 NYU DL Assignment 3: CNN图片分类 EE559 Handout Ch.7 图片分类、目标检测、语义分割 EE559 Prasctical 4: PyTorch CNN CS181 Assign 1，修改代码，实现CNN，在CIFAR-10数据集上完成测试 Toronto CSC421 Assignment 2 CNN，图片着色，超清晰度，可视化
实战	交通信号灯检测项目流程 PyTorch Transfer Learning图片分类

返回目录

表征学习和可视化

内容	可视化
课本	深度学习，Ch.11 实用技术深度学习，Ch.15 表征学习 Mining of Massive Datasets. Chapter 9 Recommender systems (Collaborative Filtering) 2nd edition. pages 307-311 (intro and 9.1) and 321-327 (9.3). 2014.
材料	CS182 Lec 10 NN可视化理解 Feature可视化 Paris Saclay DL Lec 3: Embeddings and Recommender Systems Imbalanced classification and metric learning Toronto CSC421 Lec/Note 5 分布式表征, 11 可视化 Toronto CSC421 Tutorial 6 best Practise 什么是Ablation Study Visualizing what ConvNets learn 可视化MNIST学习各层 How convolutional neural networks see the world，2016
练习	Paris Saclay 深度学习 Lab 3 Embeddings和推荐系统 Paris Saclay 深度学习 Lab 9 Siamese和Triple Loss EE559 Handout Ch.8 可视化、分析与优化 EE559 Prasctical 5: PyTorch模型能力分析 CS181 Assign 2，可视化深度学习获得的数据表征 CS181 Assign 2，图像风格Transfer Neural Transfer Using PyTorch, PyTorch Tutorials 1.1.0 documentation Toronto CSC421 Assignment 1 Word2Vec

返回目录

RNN

内容	Recurrent Networks, LSTMs, applications
课本	深度学习，Ch.10 RNN
材料	CS182 Lec 9 CS182 Note 5 理解LSTM MIT 6.S191 Lec 2 RNN Toronto CSC421 Lec/Note 13 RNN, 14 梯度爆炸和消失，15 自回归模型
练习	Toronto CSC421 Tutorial 7 RNN Toronto CSC421 HW 3 Dropout，Binary Addition Toronto CSC421 HW 4 LSTM梯度，多维RNN，Reversibility MIT 6.S191 Lab 1 音乐生成 EE559 Handout Ch.11 RNN CS181 Assign 2，修改代码，完成RNN和LSTM图像标题生成

返回目录

NLP

内容	Semantic Models for Text Attention Networks Natural Language Translation Text Question Answering Neural Dialog Systems
课本	深度学习，Ch.12.4 NLP
材料	CS182 Lec 11-15 CS182 Note 6，7 Toronto CSC421 Lec 16 Attention 论文：Word2Vec 论文：Skip-Thought Vectors 论文：视觉Attention的回归模型论文：NMT by Jointly Learning to Align and Translate 论文：Attention is All You Need 网页：The Illustrated Transformer 论文：End-to-End Memory Networks 论文：QANet 论文：Learning End-to-End Goal Directed Dialog 论文：BERT: Pre-training of Deep Bidirectional Transformers
练习	NYU DL Assignment 3: 语言模型 Toronto CSC421 Assignment 3 Attention，GRU，可视化 Paris Saclay 深度学习 Lab 6 文本分类，Embedding，语言模型 Paris Saclay 深度学习 Lab 7 Seq2Seq翻译 EE559 Handout Ch.11.3 Word2Vec, 翻译 CS181 Assign 3，语言模型，自动新闻生成 CS181 Assign 3，实现Transformer，自动文本摘要生成

返回目录

生成模型

内容	Adversarial and Fooling Networks Generative Models Generative Adversarial Networks
课本	深度学习，Ch.14 自编码
材料	CS182 Lec 16-18 CS182 Note 8 MIT 6.S191 Lec 4 Toronto CSC421 Lec 17 VAE, 18 GAN, 19 Bayesian NN 论文：Adversarial Examples 论文：Transferability/blackbox attacks 论文：Physical perturbation 论文：Variational Auto-Encoders 论文：Autoregressive Models 论文：Image Transformer 论文：Generative Adversarial Networks 论文：DCGAN Paper 网页：Wasserstein GAN Blog Post (From GAN to WGAN)
练习	Toronto CSC421 Tutorial 8 信息论 Toronto CSC421 Tutorial 9 Pyro Toronto CSC421 HW 5 Variational Free energy Toronto CSC421 Assignment 4 CycleGAN NYU DL Project: 半监督图片聚类 Paris Saclay 深度学习 Lab 10 图片VAE EE559 Handout Ch.9 自编码 EE559 Handout Ch.10 GAN MIT 6.S191 Lab 2 图片去偏 PyTorch GAN

返回目录

图卷积网络

内容	GCN
材料	NYU DL学生合作讲义
练习	NYU DL Lab Session: GCN图卷积网络

返回目录

增强学习原理

内容	Value-based methods Policy gradient：REINFORCE，Actor–Critic
课本	增强学习，Ch.1 Intro 增强学习，Ch.2 MAB 增强学习，Ch.3 MDP 增强学习，Ch.4 动态规划（Policy/Value Iteration）增强学习，Ch.5 蒙特卡洛方法增强学习，Ch.6 TD学习增强学习，Ch.7 n-step自举增强学习，Ch.8 计划和学习方法增强学习，Ch.9 on-policy近似预测增强学习，Ch.10 on-policy近似控制增强学习，Ch.13 Policy gradient
材料	概念入门 CS182 Lec 20 PG CS182 Lec 21 value CS182 Note 9，10 Toronto CSC421 Lec 20 pg, 21 q-Learning 论文：DQN paper (Nature") 论文：Asynchronous Methods for Deep RL " 论文：Double DQN" MIT 6.S191 Lec 5 OpenAI Spinning Up Adventure：DQN，PG
练习	Toronto CSC421 Tutorial 10 RL MIT 6.S191 Lab 3 Keras CartPole实验 CS181 Assign 4，实现PG Agent，完成CartPole增强学习实验 CS181 Assign 3，实现DQN Agent，完成Pong增强学习实验

返回目录

RL应用

内容	AlphaGo 推荐
课本	增强学习，Ch.14 心理学增强学习，Ch.16 神经科学增强学习，Ch.16 App: AlphaGo，个性化服务
材料	CS182 Lec 24 Game Toronto CSC421 Lec 22 go 论文：Mastering the Game of Go without Human Knowledge" Youtube视频：Mastering games without Human Knowledge，2018-Jan，David Silver 论文：A Survey of Monte-Carlo Tree Search Methods"
练习

返回目录

RL前线

内容	Imitation Learning Exploration Learning to Learn
课本	增强学习，Ch.17 Frontiers
材料	CS182 Lec 19 Imi，22 explore，23 meta CS182 Note 9，10 论文：End-to-End Learning for Self-Driving Cars" 论文：DAGGER" 论文：Adversarial Imitation Learning" 论文：Count-Based Exploration and Intrinsic Motivation" 论文：Curiosity-driven Exploration" 论文：Infobot: Information Bottleneck for RL" 网页：Learning to Learn blog post " 论文：Matching Networks for One-Shot Learning" 论文：Model-Agnostic Meta-Learning" Youtube视频：Deep Learning for Robotics，2017-Dec，Pieter Abbeel
练习

返回目录

概念自测

内容	CS181 MidTerm 练习 Toronto CSC421 练习和测试 Google AI实际系统设计注意事项

返回目录返回主页