【数学/概率论】备忘
2022-10-16 21:08:56 #数学 #概率论

未特别说明，$f_X(x)$代表$X$的概率密度，$F_X(x)$代表$X$的分布函数。

1.公式法求随机变量关系

对于一维随机变量：

已知$f_X(x),Y=g(x)$，求$f_Y(y)$:
$$
f_Y(y)=f_X(h(y))|h’(y)|
$$
其中$h(y)$是$g(x)$的逆函数。

对于二维随机变量，可以使用卷积公式(Convolution)计算：

已知$X,Y$独立,$Z=X+Y$，求Z的分布函数：

$$
f_Z(z)=\int_{-\infty}^{\infty}f_X(x)f_Y(z-x)dx=\int_{-\infty}^{\infty}f_X(z-y)f_Y(y)dy
$$

不独立要用分布函数法求解。

2.指数分布(Exponential Distribution)

$$
X\sim E(k)\to f_X(x)=ke^{-kx},F_X(x)=1-e^{-kx}
$$

3.均匀分布(Uniform Distribution)

$$
X\sim U(a,b)\to f_X(x)=\frac{1}{b-a},F_X(x)=\frac{x-a}{b-a},x\in[a,b]
$$

4.正态分布(Normal Distribution)

$$
X\sim N(\mu,\sigma^2)\to f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},F_X(x)=\int_{-\infty}^{\infty}f_X(x)dx
$$

特别的，正态分布满足再生性（可加性），亦即，当$X,Y$彼此独立时：

$$
X_1\sim N(\mu_1,\sigma_1^2),X_2\sim N(\mu_2,\sigma_2^2),\cdots,Z=\Sigma_{i=1}^nX_i\to Z\sim N(\Sigma_{i=1}^n\mu_i,\Sigma_{i=1}^n\sigma_i^2)
$$

其实，两个正态分布相加，$\mu$和$\sigma^2$彼此相加，两个正态分布相减时，$\mu$的部分相减，而$\sigma^2$的部分依然要相加。

5.泊松分布(Poisson Distribution)

$$
X\sim P(\lambda)\to P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}
$$

特别的，泊松分布满足再生性（可加性），亦即，当$X,Y$彼此独立时：

$$
X\sim P(\lambda_1),Y\sim P(\lambda_2),Z=X+Y\to Z\sim P(\lambda_1+\lambda_2)
$$

泊松分布可以用来近似求取二项分布，如果$X\sim B(n,p),n\geq 20 ,p\leq 0.05$，可以近似为$X\sim P(np)$。

6.排列组合备忘

分组公式

一共$n$个物品，分成$k$组，每组个数为$r_1,r_2,\cdots,r_k$，那么全部的互异排列方式$N$为：
$$
N=C_n^{r_1}C_{n-r_1}^{r_2}\cdots C_{r_k}^{r_k}=\frac{n!}{r_1!r_2!\cdots r_k!}
$$
一个题目里，如果对有重复出现的所有元素的排列，可以看作为分组排列，相同的元素分为一组，应用上述公式即可。

7.常用分布的期望、方差

分布类型 数学期望 方差
$X\sim B(n,p)$ $np$ $np(1-p)$
$X\sim U(a,b)$ $\frac{a+b}{2}$ $\frac{(b-a)^2}{12}$
$X\sim E(\lambda)$ $\frac{1}{\lambda}$ $\frac{1}{\lambda^2}$
$X\sim N(\mu,\sigma^2)$ $\mu$ $\sigma^2$
$X\sim P(\lambda)$ $\lambda$ $\lambda$
$X\sim G(p),P(X=k)=p(1-p)^{k-1}$ $\frac{1}{p}$ $\frac{1-p}{p^2}$
$X\sim \chi^2(n)$ $n$ $2n$

8.切比雪夫不等式和中心极限定理

切比雪夫不等式

$$
P(|X-E(X)|\geq\varepsilon)\leq\frac{D(X)}{\varepsilon^2}
$$

林德伯格-莱维中心极限定理

如果随机变量序列$X_1,X_2,\cdots,X_n,\cdots$独立同分布，并且具有有限的期望、方差，分别记为$\mu,\sigma^2(>0)$，则对于$\forall x\in \mathbf{R}$有：
$$
\lim_{n\to\infty}P(\frac{1}{\sqrt{n}\sigma}(\sum_{i=1}^nX_i-n\mu)\leq x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\rm{d}t=\varPhi(x)\sim N(0,1)
$$

棣莫佛-拉普拉斯定理

设在$n$重伯努利试验中，成功的次数为$Y_n$，而在每次试验中成功的概率为$p,q=1-p$，则对于$\forall x\in \mathbf{R}$有：
$$
\lim_{n\to\infty}P(\frac{Y_n-np}{\sqrt{npq}}\leq x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\rm{d}t=\varPhi(x)\sim N(0,1)
$$

9.矩估计和最大似然估计

矩估计的原理是用n阶样本矩来估计总体矩。因为在样本充分大的时候，样本矩和总体矩相等。解题步骤：

  1. 若有$k$个参数要估计，则列出前$k$阶样本中心矩的算式。
  2. 求解参数。

最大似然估计的原理是根据发生的概率公式，求出令该公式最大的参数。解题步骤：

  1. 列出概率公式，若有$n$个样本，概率公式就是：
    $$
    L=\prod_{i=1}^n f(x_i;\theta_1,\theta_2,\cdots)
    $$

  2. 求出让$L$最大的参数$\theta_1,\theta_2,\cdots$。可以通过求$lnL$-求导求解，也可以直接根据原理求解。

10.区间估计的枢轴变量法

对于正态总体$X\sim N(\mu,\sigma^2)$，取出$n$个样本，样本均值为$\bar{X}$，方差为$S^2$，那么可靠性为$\beta$的$\mu,\sigma^2$置信区间为：
$$
\mu\in(\bar{X}-t_{(1-\beta)/2}(n-1)\frac{S}{\sqrt{n}},\bar{X}+t_{(1-\beta)/2}(n-1)\frac{S}{\sqrt{n}})\
\sigma^2\in(\frac{(n-1)S^2}{\chi^2_{1-\beta/2}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-(1-\beta)/2}(n-1)})
$$

11.数理统计部分备忘

  1. 如果$X,Y$彼此独立，$X\sim N(0,1),Y\sim\chi^2(n)$，那么$T=\frac{X}{\sqrt{Y/n}}$。

  2. 如果$X,Y$彼此独立，$X\sim\chi^2(n_1),Y\sim\chi^2(n_2)$，那么$F=\frac{n_2}{n_1}\frac{X}{Y}$。

  3. 如果$X\sim t(n)$，那么$X^2\sim F(1,n)$。

  4. 若样本总体$X$满足$X\sim N(\mu,\sigma^2)$，若$n$为样本容量，样本方差为$S^2$，样本均值为$\bar{X}$，则满足：
    $$
    \bar{X}\sim N(\mu,\frac{\sigma^2}{n})\
    \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)\
    \frac{\sqrt{n}(\bar{X}-\mu)}{S}\sim t(n-1)\
    \frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\sim N(0,1)\
    $$

单个正态总体的参数区间估计

  1. $\sigma$已知，求$\mu$置信区间：
    $$
    (\bar{X}-u_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}},\bar{X}+u_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}})\to1-\alpha
    $$

  2. $\sigma$未知，求$\mu$置信区间：
    $$
    (\bar{X}-t_{\frac{\alpha}{2}}(n-1)\frac{S}{\sqrt{n}},\bar{X}+t_{\frac{\alpha}{2}}(n-1)\frac{S}{\sqrt{n}})\to1-\alpha
    $$

  3. $\mu$已知，求$\sigma^2$置信区间：
    $$
    Q^2=\sum_{i=1}^n(X_i-\bar{X})^2\
    (\frac{Q^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{Q^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)})\to1-\alpha
    $$

  4. $\mu$未知，求$\sigma^2$置信区间：
    $$
    Q^2=\sum_{i=1}^n(X_i-\mu)^2\
    (\frac{Q^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{Q^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)})\to1-\alpha
    $$

上面的方法也可以利用于假设检验中去。

上一页
2022-10-16 21:08:56 #数学 #概率论
下一页