本文记录《贝叶斯统计》学习笔记。在处理射电望远镜指向误差时，遇到了关于贝叶斯多元线性回归模型的问题，因此学习了贝叶斯统计的相关知识。
前置知识
先验信息：在抽样之前有关统计问题的一些信息，主要来源于经验和历史资料。似然函数：给定模型参数后，观测到的数据的概率分布。后验概率：在给定观测数据后，模型参数的概率分布。MAP估计：最大后验概率估计，即使得后验概率最大的参数值。先验分布：在贝叶斯统计中，先验分布是用来描述模型参数的先验信息的概率分布。似然函数：在贝叶斯统计中，似然函数是用来描述观测数据的概率分布的函数。后验分布：在贝叶斯统计中，后验分布是用来描述模型参数的概率分布，它是由先验分布和似然函数相乘得到的。最大似然估计：在贝叶斯统计中，最大似然估计是用来估计模型参数的一种方法。贝叶斯估计：在贝叶斯统计中，贝叶斯估计是用来估计模型参数的一种方法。贝叶斯公式：在贝叶斯统计中，贝叶斯公式是用来计算后验概率的一种公式。总体信息: 总体信息是指对一个随机变量或随机变量的联合分布的全部信息。样本信息：样本信息是指对一个随机变量或随机变量的样本分布的全部信息。
贝叶斯多元线性回归模型
假设有两个变量$X$和$Y$，它们之间存在线性关系，即$Y=aX+b$，其中$a$和$b$是未知参数。已知$X$和$Y$的观测数据，如何用贝叶斯统计方法估计$a$和$b$？
似然函数
假设$X$和$Y$的观测数据服从正态分布，即$X$和$Y$的联合分布为：
$$
p(X,Y)=\frac{1}{\sqrt{2\pi\sigma_1^2}\sqrt{2\pi\sigma_2^2}}exp\left(-\frac{1}{2}\left(\frac{(Y-aX-b)^2}{\sigma_1^2}+\frac{(Y-aX-b)^2}{\sigma_2^2}\right)\right)
$$
其中，$\sigma_1$和$\sigma_2$是$X$和$Y$的方差。
先验分布
假设$a$和$b$的先验分布为：
$$
p(a,b)=\frac{1}{\sqrt{2\pi\sigma_a^2}\sqrt{2\pi\sigma_b^2}}exp\left(-\frac{1}{2}\left(\frac{(a-a_0)^2}{\sigma_a^2}+\frac{(b-b_0)^2}{\sigma_b^2}\right)\right)
$$
其中，$\sigma_a$和$\sigma_b$是$a$和$b$的方差，$a_0$和$b_0$是$a$和$b$的先验信息。
后验分布
贝叶斯公式：
$$
p(a,b|X,Y)=\frac{p(X,Y|a,b)p(a,b)}{p(X,Y)}
$$
其中，$p(X,Y|a,b)$是似然函数，$p(a,b)$是先验分布，$p(X,Y)$是观测数据的联合分布。
基于总体信息、样本信息和先验信息进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要区别在于是否利用先验信息。
贝叶斯最基本的观点：任一个未知量θ都可看作一个随机变量，应用一个概率分布取描述对θ的未知状况，这个概率分布是在抽样前就有的关于θ的先验信息的概率描述，这个概率分布被称为先验分布（Prior）。