强化学习思考（1）前言

选择开设一个专栏来记录自己学习强化学习的过程，由于网上已经有很多基础强化学习的教程了，所以本专栏更多的关注点不在于基础，而是一些容易遗漏的点，一些细节上的补充，作为学习过程中的思考笔记。

目录

• 强化学习思考（1）前言
• 强化学习思考（2）强化学习简介
• 强化学习思考（3）马尔可夫决策过程
• 强化学习思考（4）模仿学习和监督学习
• 强化学习思考（5）动态规划
• 强化学习思考（6）蒙特卡罗和时序差分
• 强化学习思考（7）策略梯度
• 强化学习思考（8）Actor-Critic 方法
• 强化学习思考（9）值函数方法
• 强化学习思考（10）Deep Q Network
• 强化学习思考（11）Advanced Policy Gradient

参考资料及致谢

下面是本人学习过程中参考过的教材教程及博主的笔记专栏等，都是强化学习入门极好的材料，首先列一下简单的学习路线：

1、入门（传统强化学习）：David Silver《Reinforcement Learning》、《Reinforcement Learning: An Introduction》

2、基础（深度强化学习）：李宏毅《Deep Reinforcement Learning》、莫烦《强化学习》

3、进阶（深度强化学习）：Sergey Levine《Deep Reinforcement Learning》

4、高级（前沿论文阅读）：OpenAI - Key Papers in Deep RL

对于专门走强化学习的同学强烈建议从传统到深度的学习路线，如果只是希望对深度强化学习大概了解的同学看李宏毅的网课即可。

书籍

《Reinforcement Learning: An Introduction》

• 英文版
• 中文版
• 代码实现
• 习题解答
• 笔记：
  • 强化学习入门（第二版）读书笔记
  • 机器学习读书笔记汇总 - 强化学习篇

网课及其笔记

莫烦《强化学习》

• 网课：
  • 莫烦强化学习

李宏毅《Deep Reinforcement Learning》

• 网课：
  • 李宏毅 Machine Learning 2020
  • Machine Learning (2020,Spring)

• 笔记：

  • 李宏毅深度强化学习笔记

David Silver《Reinforcement Learning》

• 网课：
  • David Silver《Reinforcement Learning》
  • UCL Course on RL
• 笔记：
  • 叶强 - David Silver强化学习公开课中文讲解及实践
  • 搬砖的旺财 - David Silver 增强学习——笔记合集

Sergey Levine《Deep Reinforcement Learning》

• 网课：
  • CS285（2019 秋 英字）
  • Deep Reinforcement Learning
• 笔记：
  • 谢天 - Berkeley CS294-112 深度增强学习 笔记
  • 中原一点红 - CS285

博客及资料

• OpenAI - Key Papers in Deep RL
• 刘建平 - 强化学习
• 强化学习知识大讲堂
• 强化学习前沿
• ECKai - 多智能体强化学习入门
• SJTU Multi-Agent Reinforcement Learning Tutorial
• 多智能体强化学习（MARL）近年研究概览
• Lil’Log
• 有哪些常用的多智能体强化学习仿真环境？
• 多智能体强化学习路线图 (MARL Roadmap)
• RLChina强化学习夏令营
• 分层强化学习survey

调参

• DRL训练技巧资料汇总
• 复现”深度强化学习”论文的经验之谈
• 调参经验 John Schulman总结深度强化学习理论、模型及编码调参技巧
• 深度强化学习落地方法论
• 如何选择深度强化学习算法？MuZero/SAC/PPO/TD3/DDPG/DQN/等
• 深度强化学习调参技巧：以D3QN、TD3、PPO、SAC算法为例

单智能体代码库

• Baselines
• Stable-Baselines
• Stable-Baselines3
• Ray/RLlib
• SpinningUp
• ElegantRL
• Tianshou
• Dopamine
• rlpyt

多智能体代码库

• pymarl
• pymarl2
• StarCraft