猴博士_概率论与数理统计课程笔记

​概率论

• ​事件的概率

  • 无放回

  • ​有放回

  • ​二维图形面积(权重相等)概率计算

    • ​需要坐标系作图

  • ​条件概率

    • ​ $P(B|A) = \frac{P(AB)}{P(A)}$ 

      • ​A 已经发生时，B发生的概率

  • ​全概率公式

    • ​ $P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn)$ 

    •  $P(A) = P(AB1) + P(AB2) + ... + P(ABn)$ 

  • ​贝叶斯公式

    •  $P(A|B) = P(A)P(B|A)/P(B)$ 
      

      •  $P(A)$ 先验概率，是在还没有观测B的情况下，A自身的概率。

      • ​ $P(A|B)$ 后验概率，是在观测到B的情况下，发生A的概率
        

      •  $P(B|A)$ 似然函数​

      • ​ $P(B)$ 证据因子
        

• ​一维随机变量

  • ​已知累积分布函数求解概率密度函数或者相反

    •  $F_X(x) = \int_{-\infty}^{x} f_T(t)dt \\ f_X(x) = F_{X}(x)'$ 

  • ​已知CDF或者PSD中的一种，求解P

    • ​ $P(a\lt X \lt b) = F_X(b) - F_X(a) = \int_{a}^{b}f_X(x)dx$ 

  • ​CDF或者PDF函数中含有未知数，求解未知数

    •  $F_X(-\infty) = 0\\ F_X(+\infty) = 1\\ F_X(x_0^+) = F_X(x_0^-) \\ \int_{-\infty}^{+\infty} f_{X}(x)dx = 1$ 

  • ​求分布列

    • ​离散随机变量的所有取值和对应概率用表列出来

  • ​含有未知数的分布列，求未知数

    • ​ $\sum_{i} P_i = 1$ 

• ​一维随机变量的函数

  • ​已知X的分布列和y=f(x)，求Y的分布列

  • 已知 $F_X(x),Y=F(x)$ $F_Y(y)$ 
    

    • ​写出 $X = ?Y$ 
      

    • ​将 $?y$  替换
      

       $F_X(x)$ 中的 $x$ ，得到 $F_X(?y)$ 

    • ​判断 $?Y$ 中是否有负号
      

      • ​若无$:$ $F_Y(y) = F_X(?y)$ 
        

      • ​若有: $F_Y(y) =1 - F_X(?y)$ 

    • ​检查确认y的区间

  • 已知 $f_X(x),Y=f(x)$ ,求 $f_Y(y)$ 
    

    • ​写出 $X = ?Y$ 
      

    • ​将 $?y$  替换
      

       $F_X(x)$ $f_X(x)$ 中的 $x$ ，得到 $f_X(?y)$  $F_X(?y)$$f_X(?y)$ 

    • ​令 $f_Y = (?y)'\cdot f_X(?y)$ 

    • ​判断 $?y$ 中是否有负号
      

      • ​若无: $f_Y(y) = f_Y$ 

      • ​若有: $f_Y(y) = -f_Y$ 

• ​常见的5种分布

  • ​均匀分布 $U[a,b]$ 

    • ​ $U[a,b](x) = \begin{cases} \frac{1}{b-a}, a \lt x\lt b \\ 0,other \end{cases}$ 

  • 泊松分布
    

    • ​ $P(X=x) =\frac{\lambda^x}{x!}e^{-\lambda}$ 

  • ​二项分布 $B[n,p]$ 

    • 
       $​P(X=x)= C_{n}^{x}p^x(1-p)^{n-x}$ 

  • ​指数分布 $E(\lambda)$ 

    • ​ $f(x) = \begin{cases} \lambda e^{-\lambda x},x >0\\ 0,x\le 0 \end{cases}$ 

  • 正态分布 $N(\mu,\sigma^2)$ 
    

    •  $N(\mu,\sigma^2) \sim f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(- \frac{(x-\mu)^2}{2\sigma^2}\right)$
      

    • ​ $N(0,1),\Phi(u) = \int_{-\infty}^{u}f(x)dx$ 

    • ​ $P(a \lt X\lt b) = \Phi(\frac{b-\mu}{\sigma}) - \Phi(\frac{a-\mu}{\sigma})\\ P(X\lt a) = \Phi(\frac{a-\mu}{\sigma}) \\ P(X\gt b) = 1 - \Phi(\frac{b-\mu}{\sigma})$ 

  • ​正态分布的图像 $N(\mu ,\sigma^2)$ 

    • 图像 $x = \mu$ $$对称

    • ​曲线与 $x$ 轴围成的面积表示概率，总面积为1

    • ​ $\sigma$ 越小，图像越集中在 $\mu$ 附近，图像越抖
      

• ​离散型二维变量和连续性二维变量(上)

  • ​已知二维离散型分布列，求概率/分布列

  • ​已知二维离散型分布列，判断其独立性

    • ​独立性判断，对于任意的 $x_i,y_i$ 均满足 $P(X=x_i,Y=y_i) = P(X=x_i)P(Y=y_i)$ 则 $X$ 与 $Y$ 相互独立，否则不独立
      

  • ​已知二维连续联合分布函数CDF，求二维连续联合概率密度函数PSD

    • ​ $f(x,y) = = \frac{\partial ^2 F(x,y)}{\partial x \partial y}$ 

  • ​已知二维连续联合概率密度函数PSD，求二维连续联合分布函数CDF

    • ​首先在 $f(x,y)$ $x$ 的范围和 $y$ 的范围
      

    • 计算 $\int_{g_1(x)}^{x}du \int_{h_1(u)}^y f(u,v)dv$ 的结果记作 $(1)$ 
      

      • ​ $g_1(x)$ 是$x$ 的左边界
        

      •  $h_1(u)$ 是将 $y$的下边界中的 $x$ 替换为 $u$ 后的式子
        

      • ​ $f(u,v)$ 为将 $f(x,y)$ 中的 $x$ 替换为 $u$ 、 $y$ 替换为 $v$ 的式子
        

    • ​将 $x = g_2(y),y= h_2(x)$ 分别代入 $(1)$中，结果依次即为 $(2),(3)$ 
      

    • ​画出 $f(x,y)$ 不为0的区域，记作A
      A的右侧区域记作B
      A的上侧区域记作C
      A的右上方区域记作D
      
      

      • ​ $F(x,y) = \begin{cases} (1), A\\ (2),B\\ (3),C\\ 1,D\\ 0, other \end{cases}$ 

  • ​已知 $F(x,y)$ 求 $P$ 
    

    • 
      

       $P(X\le x_0,Y\le y_0) = F(x_0,y_0)$ 

  • ​已知 $f(x,y)$ ,求 $P$ 

    •  $P(X\le x_0,Y\le y_0) = \int_{-\infty}^{x_0}dx\int_{-\infty}^{y_0}f(x,y)dy$ 

  • ​求 $F(x,y),f(x,y)$ 中含有的未知数
    

    • ​ $F(+\infty,+\infty) = 1\\ F(-\infty,-\infty) = 0\\ F(x,-\infty) = 0\\ F(-\infty,y) = 0\\ \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty}f(x,y)dxdy = 1$ 

  • ​求均匀分布的密度函数和概率

• ​离散型二维变量和连续性二维变量(下)

  • ​已知联合分布CDF，求边缘分布函数 $F_X(x) = F(x,+\infty) \\ F_Y(y) = F(+\infty,y$
    

    • ​ $F_X(x) = F(x,+\infty) \\ F_Y(y) = F(+\infty,y)$ 

  • ​已知联合分布密度函数，求边缘分布密度函数

    • ​将 $f(x,y)$ 的非零区域画在坐标系上
      

    • ​表示出该区域的左边界右边界上边界下边界分别为 $x=g_1(x),x=g_2(x),y=h_1(x),y=h_2(x)$ 

    • ​ $f_X(x) = \int_{h_2(x)}^{h_2(x)}f(x,y)dy \\ f_Y(y) = \int_{g_1(y)}^{g_2(y)}f(x,y)dx$ 

  • ​判断连续型二维变量的独立性

    • ​ $F(x,y) = F_X(x)F_Y(y) \\ f(x,y) = f_X(x)f_Y(y)$ 
      

  • ​已知 $f(x,y),Z=F(X,Y$ $f(x,y),Z=X+Y$ ,求 $f_Z(z)$  $f(x,y$$f(x,y),Z=F(X,Y)$ 
    

    •  $f_Z(z) = \int_{-\infty}^{+\infty}f(x,z-x)dx$
      

  • ​已知 $f(x,y),Z = \frac{X}{Y}$ ,求 $f_Z(z)$ 

    •  $f_Z(z) = \int_{-\infty}^{+\infty}f(yz,y)|y|dy$ 

  • ​ $f(x,y),Z=\max(X,Y)已知$ ,XY独立同分布，求 $f_Z(z)$ 
    

    •  $f_Z(z) = F_X(z)F_Y(z)$ 

  • ​ $f(x,y),Z=\max(X,Y)已知$ ,XY独立同分布，求 $f_Z(z)$ 
    

    •  $f_Z(z) = (1-F_X(z))(1-F_Y(z))$ 

• ​随机变量的数字特征(上)

  • ​求离散型变量的期望

    • ​ $E(X) = \sum_{i} x_i p_I$ $E(X) = \sum_{i} x_i p_$ 

  • ​求连续型的期望

    • ​ $E(X) = \int_{-\infty}^{+\infty}xf(x)dx$ 

  • ​已知 $Y = g(x)$ ,求 $E(Y)$ 
    

    • ​离散型

      •  $E(X)=\sum_i g(x_i)​p_i​$ 

    • ​连续型

      •  $E(X) = \int_{-\infty}^{+\infty}g(x)f(x)dx$ 

  • ​求方差

    • ​离散型

      •  $D(X) = \sum_i [x_i - E(x)]^2p_i$ 

    • ​连续型

      • ​ $D(X) = E(X^2) - E^2(X)$ 

  • ​利用期望和方差性质做复杂运算

    • 期望的性质
      

      • ​$E(C)= C\\ E(CX) = CE(X) \\ E(X\pm Y) = E(X)\pm E(Y)\\ E(XY) = E(X)E(Y$ 
        最后一条需要XY相互独立
        

    • ​方差的性质

      •  $D(C) = 0 \\ D(CX) = C^2 D(X)\\ D(X\pm Y) = D(X) + D(Y)$
        

        最后一条需要XY相互独立

    • ​练习期望和方差

      •  $D(X) = E(X^2) - E^2(X)$ 

  • 期望、方差与各种分布的综合题
    

    • ​常用5种分布的期望和方差

      • 

        
        

• ​​随机变量的数字特征(下)与中心极限定理
  

  • ​ ${\rm{Cov}},\rho_{xy},D$ 相关题目
    

    • ​协方差相关公式

      • ​ ${\rm{Cov}}(X,Y) = E(XY) - E(X)\cdot E(Y)\\ {\rm{Cov}}(X,X) = D(X)\\ {\rm{Cov}}(X,Y) = 0 (*)\\ {\rm{Cov}}(X,Y) = \rho_{XY}\sqrt{D(X)}\sqrt{D(Y)} \\ {\rm{Cov}}(aX+b,cY+d) = ac {\rm{Cov}}(X,Y) \\ {\rm{Cov}}(X_1 \pm X_2,Y) = {\rm{Cov}}(X_1,Y) \pm {\rm{Cov}}(X_2,Y) \\ {\rm{Cov}}(X,Y_1\pm Y_2) = {\rm{Cov}}(X,Y_1) \pm {\rm{Cov}}(X,Y_2)$
        (*) 要求XY相互独立
        

    • 相关系数相关公式
      

      •  $\rho_{XY} = \frac{{\rm{Cov}}(X,Y)}{\sqrt{D(X)D(Y)}} \\ \rho_{XY} = 0 (*)$
        

        (*)要求XY相互独立

    • ​方差相关公式

      • ​ $D(X\pm Y) = D(X) + D(Y) \pm 2{\rm{Cov}}(X,Y)$ 

  • ​利用切比雪夫不等式求概率

    •  $P[|X-E(X)|\ge \epsilon ] \le \frac{D(X)}{\epsilon^2}$
      

  • ​中心极限定理

    • ​设随机变量 $x_1,x_2,...,x_n$ 相互独立，服从同一分布且有有限的数学期望 $\mu$ 和方差 $\sigma^2$ （独立同分布），则随机变量 $\bar{x}=\frac{\sum x_i}{n}$ ，在 $n$ 无限增大时，服从参数为 $\mu$ 和 $\frac{\sigma^2}{n}$ 的正态分布，即 $n→\infty$ 时， $\bar{x} \to N(\mu,\frac{\sigma^2}{n})$ 

​数理统计(本科的时候没学,故略过)

• ​数理统计基础

  • ​求离散型变量的期望

    • ​ $E(X) = \sum_{i} x_i p_I$ $E(X) = \sum_{i} x_i p_$ 

  • ​求连续型的期望

    • ​ $E(X) = \int_{-\infty}^{+\infty}xf(x)dx$ 

  • ​已知 $Y = g(x)$ ,求 $E(Y)$ 
    

    • ​离散型

      •  $E(X)=\sum_i g(x_i)​p_i​$ 

    • ​连续型

      •  $E(X) = \int_{-\infty}^{+\infty}g(x)f(x)dx$ 

  • ​求方差

    • ​离散型

      •  $D(X) = \sum_i [x_i - E(x)]^2p_i$ 

    • ​连续型

      • ​ $D(X) = E(X^2) - E^2(X)$ 

  • ​利用期望和方差性质做复杂运算

    • 期望的性质
      

      • ​$E(C)= C\\ E(CX) = CE(X) \\ E(X\pm Y) = E(X)\pm E(Y)\\ E(XY) = E(X)E(Y$ 
        最后一条需要XY相互独立
        

    • ​方差的性质

      •  $D(C) = 0 \\ D(CX) = C^2 D(X)\\ D(X\pm Y) = D(X) + D(Y)$
        

        最后一条需要XY相互独立

    • ​练习期望和方差

      •  $D(X) = E(X^2) - E^2(X)$ 

  • 期望、方差与各种分布的综合题
    

    • ​常用5种分布的期望和方差

      • 

        
        

• ​矩估计

  • 求某一未知参数的矩估计(用期望)

    • ​设一大批产品的不合格率为P，每次从中抽取10件进行检验，用 $x_i$ 表示第 $i$ 次抽出的10件产品中次品的个数，则可以认为 $x_1 ,x_2,...,x_n$ 独立同分布，总体分布是二项分布 $B(10,P)$ ,求P的矩估计
      

      • ​写出期望与待求位置数的关系   $E(X) = nP = 10P$   $E(X) = nP = 10P$$E(X) = nP = 10P$ 

      • 整理上式得到 $P = \frac{E(X)}{10}$ 
        

      • ​根据样本，算出得到实际的期望 $E(X) = \frac{\sum_i{x_i}}{n}$ 
        

      • ​将实际期望代入求未知数 $\hat{P}$ 

  • 求某两个未知参数的矩估计(用期望+方差)

    • ​设总体X在[a,b]上服从均匀分布，a和b均未知， $x_i$ 是来自X的样本，试求a，b的矩估计量
      

      • 写出期望和方差与待求未知数的关系
         $E(X) = \frac{(a+b)}{2} \\ D(X) = \frac{(b-a)^2}{12}$ 
        

      •  $a = E(X) - 3\frac{D(X)}{E(X)} \\ b = E(X) + 3\frac{D(X)}{$ 
        
        

      • ​根据样本，算出得到实际的期望 $E(X) = \frac{\sum_i{x_i}}{n}$, $D(X) = E(X^2) - E^2(X)$ 
        

      • ​将实际期望和实际方差代入求未知数 $\hat{a},\hat{b}$ 
        

• ​最大似然估计量

  • ​求某离散型参数的最大似然估计量

  • ​求出某连续型参数的最大似然估计量

• ​区间估计

• ​假设检验

  • ​判断单项参数与某数值的关系

  • ​判断两项参数间的关系

  • ​对于成对数据的检验

  • ​P值检验

• ​方差分析

• ​一元线性回归

  •  $Y = \hat{a} + \hat{b}x \\ S_{xy} = \sum_{i}(x_iy_i)- \frac{(\sum_i x_i)(\sum_{i} y_i)}{n}\\ S_{xx} = \sum_{i} x_i^2 - \frac{(\sum_{i}x_i)^2}{n}\\ \hat{b} = \frac{S_{xy}}{S_{xx}} \\ \hat{a} = \frac{\sum_{i}y_i}{n} - \frac{\sum_{i}x_i}{n}\hat{b}$ 

  • 求一元线性回归模型系数
    

  • ​对一元线性回归模型的方差进行估计

  • 在一元线性回归模型中检验回归效果显著性
    

  • ​在一元线性回归模型中求系数b的置信区间

  • ​Y约为x的指数函数时，求Y关于x的回归方程