【4~6】概率与分布

1.事件、概率

1.1 随机试验

随机试验:随机试验是一个过程，它所产生的试验结果是完全确定的。在每一次重复或者试验中，出现哪种结果完全由偶然性来决定。
样本空间:随机试验的样本空间是试验所有结果组成的一个集合。一种特定的试验结果被称为样本点（sample point）, 它是样本空间中的一个元素。

1.2 事件

事件是样本点的一个集合。事件的概率等于事件 中所有样本点的概率之和。

1.3 条件概率

条件概率（Conditional Probability）：
$P\left(A|B\right)=\frac{P\left(A\cap B\right)}{P\left(B\right)}$

全概率公式（Law of Total Probability）：
$P\left(A\right)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$

贝叶斯公式（Bayes’ Theorem）：
$P\left(B|A\right)=\frac{P\left(A|B\right)P\left(B\right)}{{\sum }_{i=1}^{n}P\left(A|B_i\right)P\left(B_i\right)}$

2.离散型随机变量

2.1 常见的数字特征

离散型随机变量的期望（Expected Value）：

$E(X)={\sum }_{i=1}^n{x}_{i}P(X=x_i)$

方差（Variance）：

$Var(X)=E[(X-E(X){)}^2]={\sum }_{i=1}^n(x_i-E(X){)}^{2}P(X=x_i)$

协方差（Covariance）：

$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]={\sum }_{i=1}^n{\sum }_{j=1}^m(x_i-E(X))(y_j-E(Y))P(X=x_i,Y=y_j)=E(XY)-E(X)E(Y)$

相关系数（Correlation Coefficient）：

${\rho }_{X,Y}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$

2.2 常见离散型分布及其特征：

二项分布（Binomial Distribution）：

• 概率质量函数（Probability Mass Function, PMF）：$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$
• 期望：$E(X)=np$
• 方差: $Var(X)=np(1-p)$

泊松分布（Poisson Distribution）：

• PMF： $P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$
• 期望：$E(X)=\lambda$
• 方差：$Var(X)=\lambda$

超几何分布（Hypergeometric Distribution）：

• PMF：$P(X=k)=\frac{\left(\genfrac{}{}{0ex}{}{K}{k}\right)\left(\genfrac{}{}{0ex}{}{N-K}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)}$
• 期望：$E(X)=\frac{Kn}{N}$
• 方差：$Var(X)=\frac{K(N-K)n(n-1)}{N^2(N-1)}$

3.连续型随机变量

3.1 常见的数字特征

$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$
$Var(X)=E[(X-E(X){)}^2]={\int }_{-\infty }^{\infty }(x-E(X){)}^{2}f(x)dx$

3.2 常见连续型分布及其特征：

均匀分布（Uniform Distribution）：

• 概率密度函数（PDF）：$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& \text{for }a\le x\le b,\\ 0& \text{otherwise.}\end{array}$
• 累积分布函数（CDF）：$F(x)=\{\begin{array}{ll}0& \text{for }x<a,\\ \frac{x-a}{b-a}& \text{for }a\le x<b,\\ 1& \text{for }x\ge b.\end{array}$
• 期望：$E(X)=\frac{a+b}{2}$
• 方差：$Var(X)=\frac{(b-a{)}^2}{12}$

指数分布（Exponential Distribution）：

• PDF：$f(x)=\lambda e^{-\lambda x}$ (x>0)
• CDF：$F(x)=1-e^{-\lambda x}$ (x>0)
• 期望：$E(X)=\frac{1}{\lambda }$
• 方差：$Var(X)=\frac{1}{{\lambda }^2}$

正态分布（Normal Distribution）：

• PDF：$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
• 期望：$E(X)=\mu$
• 方差：$Var(X)={\sigma }^2$

3.3 二项分布的连续化

二项分布可以通过极限过程转换为正态分布。正态分布PDF如下：
$f(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

3.4 泊松过程与指数分布

泊松分布用于描述在固定时间或空间内随机事件发生的次数，而指数分布是泊松过程中两次事件发生之间的时间间隔的分布。如果一个事件是一个泊松过程，其中事件以平均速率 𝜆发生，那么两次连续事件发生的时间间隔将遵循指数分布。