https://www.zhihu.com/question/57767469/answer/2288542961

今年秋季就要开始攻读统计Ph.D., 因为我之前都是在读数学(概率)方向, 还没有过多的做过统计的研究或者修过太多研究生阶段的统计基础课. 打算自学一下统计一些研究生阶段的基础课, 用这篇文章整理下统计Ph.D.需要修的基础课以及一些常用的经典教材, 如果有一些相关的课程视频, 也会放在这里. 目的是为了方便跟我一样的同学找到相关的资源.大致分为理论统计的部分，应用统计的部分，以及最后一些涉及统计的数学课程。

欢迎大家评论留言补充相关参考教材~感谢已经留言的小伙伴~

updete:

2021/09/19: 增加一些讲义和补充的教材.

2021/12/26: 更新机器学习部分

Mathematical Statistics (or Statistical Inference)

1. 教材:

• Casella, Berger, Statistical Inference, 2nd edition.

• A Course in Large Sample Theory By Thomas S. Ferguson

(UCLA理论统计课用的这本教材, 课程主页 Stat200C 里面有习题)

• Mathematical Statistics by Jun Shao

这本教材有习题解答, 也是一本配套的教材.

Jun shao教授个人主页有一些关于这本书的slides及作业: Jun Shao

• Theoretical Statistics Topics for a Core Course Authors: Keener, Robert W.

Ryan Martin(NCSU)在UCI基于这个教材的讲义: Ryan Martin : Teaching

2. 课程视频:

• B站有一个Jun shao之前的讲课录象: 【美国威斯康星大学/邵军】数理统计_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

Bayesian Statistics

1. 教材:

• Bayesian Methods (Second Edition), by Jeff Gill

• Bayesian Data Analysis, by Andrew Gelman, John Carlin, Hal Stern, David Dunson, Aki Vehtari, and Donald Rubin

这本书的作者之一Aki Vehtari建立一个这本教材的网站: Bayesian Data Analysis course 上面有很多资源, 比如一些例子的R代码等. 之前修这门课的时候全程也是用的这本书. 这本书感觉写的还算清楚, 比较好理解. 缺点可能就是叙述比较陈旧, 一些例子缺少code. 要不是没有Vehtari经常开设这门课并且把这门课的code分享, 很多例子是不清楚怎么用R做的...

2. 课程视频: Aki Vehtari把自己讲课的录象分享到个人主页: Panopto

Probability/Stochastic processes

1. 教材:

• Knowing the Odds: An Introduction to Probability by John B. Walsh

这本算是适合衔接高等概率论和经典概率论中比较好的教材. 非常推荐在入坑高等概率论或者直接入坑高等概率论不知所云的小白读者阅读...

• Probability: Theory and Examples Rick Durrett Version 5

这本估计学概率论必读的教材, 非常经典...图片应该是第四版, 第五版是最新的版本(还未出版), 在作者的个人主页...增加很多topci. 作者表示可能这是最后一版.

有一些关于概率论/随机过程的讲义也非常值得参考:

(i).Probability Theory - Stanford University by Amir Dembo (谷歌搜就能搜到pdf版本)

(ii).Louigi Addario-Berry My course notes

(iii) Nathanaël Berestycki Advanced Probability Theory (Spring 2019). Lecture notes (from a previous year). Exercices on Lucas Teyssier's page . 这个主要是作者在剑桥part III的讲义...当然, 剑桥part III有很多简短的讲义可以参考.

2. 视频:

1. Claudio Landim (IPAM), Lectures on measure theory
2. Claudio Landim (IPAM), Master Program: Probability Theory(2020). Claudio 是绝对的概率领域大佬, ICM 2018邀请者. Claudio的个人主页上面有一个关于这个课程的备注, 写的非常详细, 包括学习的建议... http://w3.impa.br/~landim/lectures.html

3. Hao Wu, Martingales and Markov Processes. 之前吴老师在日内瓦的一个短课. NCCR SwissMAP - Master Class in Planar Statistical Physics

4. Firas Rassoul-Agha教授于2020春季学期在Utah大学讲的应用随机过程的录象(研究生课程).

5. 英国Bristol大学的Marton Balazs教授录制的关于鞅的视频

High-dimensional statistics

1. 教材: Philippe Rigollet（MIT) 的一门相关课程的主页：Notes

• Martin Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint.

• Philippe Rigollet and Jan-Christian Huetter, High Dimensional Statistics. Lecture Notes.https://ocw.mit.edu/courses/mathematics/18-s997-high-dimensional-statistics-spring-2015/lecture-notes/MIT18_S997S15_CourseNotes.pdf
• Roman Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science.

• Ramon van Handel, Probability in High Dimension. https://web.math.princeton.edu/~rvan/APC550.pdf

Statistics for high-dimensional data methods, theory and applications / Bühlmann, Peter.

•  

2. 视频:

High-Dimensional Statistics and Probability

授课老师:Christophe Giraud (Paris Saclay university)

https://www.youtube.com/channel/UCD , B站也能搜到资源.

---

声明：应用统计的部分我是完全不懂...只是照搬别人的推荐。

Applied Linear Statistical Methods

教材:

Faraway, Linear Models with R, 1st edition

Generalized Linear Models

教材:

• Agresti, Foundations of Linear and Generalized Linear Models

• McCullagh, P and Nelder, JA. Generalized Linear Models. Chapman and Hall.

• Dunn, Peter K., and Gordon K. Smyth. Generalized Linear Models with Examples in R.Springer.

Statistical Learning/Machine Learning

教材:

• Hastie, Tibshirani, Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed)

这本教材作者的网站: https://web.stanford.edu/~hastie/ElemStatLearn/

• Bishop, Pattern Recognition and Machine Learning;

• Probabilistic Machine Learning: An Introduction

这本书是最近新出的(属于上半册), 非常的详细, 前面涵盖了所有可能用到的机器学习的数学/统计等理论知识...并且, 所有的代码例子都在Colab, 非常方便. 目前还只是电子版教材. 此外, 还会出下半册, 期待~

链接: https://probml.github.io/pml-book/book1.html

• Probabilistic Machine Learning: Advanced Topics

这本书还没有出来, 目前只有目录, 但可以单独问作者索要电子版. 预计明年公开... 链接: https://probml.github.io/pml-book/book2.html

• Deep learning by Y LeCun, YBengio, G Hinton

补充一些统计学习的讲义:

CMU: Statistical Methods for Machine Learning by Larry Wasserman

36-708 Statistical Machine Learning, Spring 2018

MIT: Mathematics of Machine Learning

https://ocw.mit.edu/courses/mathematics/18-657-mathematics-of-machine-learning-fall-2015/lecture-notes/

---

一些可能会用到的数学课

Convex Optimization

教材: Boyd, Convex Optimization

Optimal transport

教材：Optimal Transport for Applied Mathematicians: Calculus of Variations, PDEs, and Modeling by Filippo Santambrogio

Stochastic Analysis

教材：

Brownian Motion, Martingales, and Stochastic CalculusAuthors: Le Gall, Jean-François

视频：Dmitry Chelkak（ENS)有一个讲的非常精彩的视频：

• "Brownian motion and stochastic calculus"(University of Geneva, Fall 2015,
  part of the special master class program in planar statistical physics: UniGE videoserver)
• Brownian motion: Lecture 1, Lecture 2, Lecture 3, Lecture 4, Lecture 5.1, Lecture 5.2, Lecture 6;
• Intermezzo: Lecture 7, Lecture 8;
• Stochastic calculus: Lecture 9.1, Lecture 9.2, Lecture 10, Lecture 11, Lecture 12, Lecture 13.1, Lecture 13.2;
• Exercises: .pdf (TA: Marianna Russkikh).

Stochastic Differential Equations(SDE)

• Øksendal, B. Stochastic differential equations. An introduction with applications. Sixth edition. Universitext. Springer-Verlag, Berlin, 2003. xxiv+360 pp. ISBN: 3-540-04758-1

• Klebaner, Fima C. Introduction to stochastic calculus with applications. Third edition. Imperial College Press, London, 2012. xiv+438 pp. ISBN: 978-1-84816-832-9; 1-84816-832-2

 

Random Matrix Theory

• Anderson, Guionnet, and Zeitouni,"Random Matrices" 链接: (http://www.wisdom.weizmann.ac.il/~zeitouni/cupbook.pdf)

•  

---

知乎上一些回答/文章也可以参考:

你所读的统计学方向，有哪些不错的讲义（Notes）？

纯粹：Advanced Statistics Final Review

纯粹：现代统计模型(PKU20S)

你所读的统计学方向，有哪些不错的讲义（Notes）？