概率论

概率论考前速查表

1. 基本概念

1.1 样本空间和事件

• 样本空间 $\Omega$：所有可能结果的集合
• 事件 $A$：样本空间的子集

1.2 概率的公理化定义

1. 非负性：$P(A)\ge 0$
2. 规范性：$P(\Omega )=1$
3. 可列可加性：对于互不相容的事件序列 $A_1,A_2,\dots$，有 $P({\bigcup }_{i=1}^{\infty }{A}_i)={\sum }_{i=1}^{\infty }P(A_i)$

1.3 条件概率

$P(A|B)=\frac{P(A\cap B)}{P(B)},P(B)>0$

1.4 全概率公式

$P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$，其中 $B_1,B_2,\dots ,B_n$ 构成完备事件组

1.5 Bayes 公式

$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$

2. 随机变量

2.1 离散随机变量

• 概率质量函数 (PMF)：$p_X(x)=P(X=x)$
• 累积分布函数 (CDF)：$F_X(x)=P(X\le x)={\sum }_{t\le x}{p}_X(t)$

2.2 连续随机变量

• 概率密度函数 (PDF)：$f_X(x)$，满足 $F_X(x)={\int }_{-\infty }^x{f}_X(t)dt$
• 累积分布函数 (CDF)：$F_X(x)=P(X\le x)$

3. 期望和方差

3.1 期望

• 离散：$E[X]={\sum }_{x}x{p}_X(x)$
• 连续：$E[X]={\int }_{-\infty }^{\infty }x{f}_X(x)dx$

3.2 方差

$Var(X)=E[(X-E[X]{)}^2]=E[X^2]-(E[X]{)}^2$

3.3 协方差

$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$

3.4 相关系数

${\rho }_{X,Y}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

4. 常见分布

4.1 离散分布

1. 伯努利分布：$X\sim Bern(p)$ $P(X=1)=p,P(X=0)=1-p$ $E[X]=p,Var(X)=p(1-p)$

2. 二项分布：$X\sim B(n,p)$ $P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$ $E[X]=np,Var(X)=np(1-p)$

3. 泊松分布：$X\sim Pois(\lambda )$ $P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$ $E[X]=Var(X)=\lambda$

4. 几何分布：$X\sim Geo(p)$ $P(X=k)=p(1-p{)}^{k-1}$ $E[X]=\frac{1}{p},Var(X)=\frac{1-p}{p^2}$

4.2 连续分布

1. 均匀分布：$X\sim U(a,b)$ $f_X(x)=\frac{1}{b-a},a\le x\le b$ $E[X]=\frac{a+b}{2},Var(X)=\frac{(b-a{)}^2}{12}$

2. 指数分布：$X\sim Exp(\lambda )$ $f_X(x)=\lambda e^{-\lambda x},x\ge 0$ $E[X]=\frac{1}{\lambda },Var(X)=\frac{1}{{\lambda }^2}$

3. 正态分布：$X\sim N(\mu ,{\sigma }^2)$ $f_X(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$ $E[X]=\mu ,Var(X)={\sigma }^2$

4. Gamma 分布：$X\sim Gamma(k,\theta )$ $f_X(x)=\frac{x^{k-1}{e}^{-x/\theta }}{{\theta }^k\Gamma (k)},x>0$ $E[X]=k\theta ,Var(X)=k{\theta }^2$

5. 多维随机变量

5.1 联合分布

• 离散：$p_{X,Y}(x,y)=P(X=x,Y=y)$
• 连续：$f_{X,Y}(x,y)$，满足 $P((X,Y)\in A)={\iint }_A{f}_{X,Y}(x,y)dxdy$

5.2 边缘分布

• 离散：$p_X(x)={\sum }_y{p}_{X,Y}(x,y)$
• 连续：$f_X(x)={\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dy$

5.3 条件分布

• 离散：$p_{X|Y}(x|y)=\frac{p_{X,Y}(x,y)}{p_Y(y)}$
• 连续：$f_{X|Y}(x|y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}$

6. 大数定律和中心极限定理

6.1 大数定律

若 $X_1,X_2,\dots$ 是独立同分布的随机变量，且 $E[X_i]=\mu$，则

$\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{\to }\mu$ 当 $n\to \infty$

6.2 中心极限定理

若 $X_1,X_2,\dots$ 是独立同分布的随机变量，且 $E[X_i]=\mu$, $Var(X_i)={\sigma }^2$，则

$\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sigma \sqrt{n}}\stackrel{d}{\to }N(0,1)$ 当 $n\to \infty$

7. 特征函数

定义：${\varphi }_X(t)=E[e^{itX}]$

性质：

1. ${\varphi }_{aX+b}(t)=e^{ibt}{\varphi }_X(at)$
2. 若 $X$ 和 $Y$ 独立，则 ${\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t)$
3. $E[X^n]=i^{-n}{\varphi }_X^{(n)}(0)$

8. 极限定理的补充

8.1 弱收敛

$X_n\stackrel{d}{\to }X$ 当且仅当对所有连续有界函数 $g$，有

$E[g(X_n)]\to E[g(X)]$ 当 $n\to \infty$

8.2 依概率收敛

$X_n\stackrel{P}{\to }X$ 当且仅当对任意 $ϵ>0$，有

${\lim }_{n\to \infty }P(|X_n-X|>ϵ)=0$

8.3 几乎必然收敛

$X_n\stackrel{a.s.}{\to }X$ 当且仅当

$P({\lim }_{n\to \infty }{X}_n=X)=1$

重点难点提示

• 理解并熟练运用条件概率、全概率公式和 Bayes 公式
• 掌握常见分布的 PMF/PDF 和期望、方差计算
• 理解多维随机变量的联合分布、边缘分布和条件分布的关系
• 深入理解大数定律和中心极限定理的含义和应用
• 学会使用特征函数解决概率问题，特别是在处理独立随机变量和的分布时
• 理解不同类型的收敛（依分布收敛、依概率收敛、几乎必然收敛）的区别和联系