什么是矩生成函数（MGF）？
MGF 的定义
第 k 矩，定义为 $\mathbb{E}(X^k)$
第 k 中心矩，定义为 $\mathbb{E}((X-\mu )^k)$
矩生成函数（Moment Generating Function, MGF）是用来寻找矩的函数的函数。随机变量实值函数 $X$ 的 MGF 定义为：
$$ \psi_{X}(t)=\mathbb{E}\left(e^{t X}\right)=\int e^{t x} \mathrm{d} F(x) = \int e^{tx} f(x) \mathrm{d}x $$其中 $t = 0$ 表示一阶矩，$t = 1$ 表示二阶矩……
它实际上是一个 Laplace 变换。
对于实变函数 $x(t)$，其拉普拉斯变换是复变函数 $X(s)$ （其中复变量 $s = \sigma + i \omega $），定义为：
$$ X(s) = \int_{0}^{+\infty } e^{-st} x(t) \mathrm{d}t $$记作 ${\mathcal {L}}x$ 或 ${\mathcal {L}}_{t}\{x(t)\}$
实值函数：函数输出值是实数的函数 实变函数：函数输入参数是实数的函数 复变函数：函数输入参数是复数的函数
输入：一个关于时间变量 $t$ 的函数 $x(t)$ 。 输出：一个关于复数变量 $s$ 的函数 $X(s)$
由于它的输出是一个函数，所以这类变换又叫生成函数。
当 $ t= 0$ 时，求导，输出是数学期望函数 $E(X)$：
$$ \psi^{\prime}(0)=\left[\dfrac{d}{d t} \mathbb{E} e^{t X}\right]_{t=0}=\mathbb{E}\left[\dfrac{d}{d t} e^{t X}\right]_{t=0}=\mathbb{E}\left[X e^{t X}\right]_{t=0}=\mathbb{E}(X) $$实际上对于 $k$ 阶导，$\psi^{(k)}(0) = \mathbb{E}(X^k)$（推导见本文），利用这一性质，我们可以很方便地计算一个分布的任意阶矩。
在统计学中，我们暂不不考虑 $t$ 为复数的情况。
例子：令 $X \sim \text{Exp}(1)$ 则
$$ \psi_{X}(t)=\mathbb{E} e^{t X}=\int_{0}^{\infty} e^{t x} e^{-x} \mathrm{d} x =\int_{0}^{\infty} e^{(t-1) x} \mathrm{d} x =\dfrac{1}{1-t} $$限定 $t < 1$，以免积分发散。
因此有，$E(X) = \psi ^\prime(0) = 1$ ，$\mathbb{V}(X) = \mathbb{E}(X^2) - \mathbb{E}(X)^2 = 2 - 1 = 1$
引理 MGF 的性质
（1）若 $Y = aX + b$ 则 $ \psi_{Y}(t)=e^{b t} \psi_{X}(a t) $
（2）若 $X_1, \cdots , X_n$ 独立且 $Y = \sum_{i}^{X_i}$ 则 $ \psi_{Y}(t)=\prod_{i} \psi\_{i}(t) $
离散分布的 MGF
$$ M_X(t) = \mathbb{E}[e^{tX}] = \sum_i e^{tx_i}\cdot p(x_i)\notag $$常见分布的 MGF
$$ \begin{array}{ll} \text { Distribution } & \text { MGF } \psi(t) \\ \operatorname{Bernoulli}(p) & p e^{t}+(1-p) \\ \operatorname{Binomial}(n, p) & \left(p e^{t}+(1-p)\right)^ {n} \\ \operatorname{Poisson}(\lambda) & e^{\lambda\left(e^{t} -1\right)} \\ \operatorname{Normal}(\mu, \sigma) & \exp \left\{\mu t+\dfrac {\sigma^{2} t^{2}}{2}\right\} \\ \operatorname{Gamma}(\alpha, \beta) & \left(\dfrac{1} {1-\beta t}\right)^{\alpha} \text { for } t<1 / \beta\end {array} $$MGF 为什么能用？
已知：
$$ \begin{equation} e^{t x}=\dfrac{(t x)^{0}}{0 !}+\dfrac{(t x)^{\prime}}{1 !}+\dfrac{(t x)^{2}}{2 !}+\cdots \end{equation} $$对其求期望，根据期望的性质，可知：
$$ \begin{equation} \mathbb{E}\left(e^{t x}\right)=\dfrac{t^{0}}{0 !} \mathbb{E}\left(x^{0}\right)+\dfrac{t^{1}}{1 !} \mathbb{E}\left(x^{1}\right)+\dfrac{t^{2}}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$这就是 MGF 的展开式。尝试求一阶导数：
$$ \begin{equation} \dfrac{\mathrm{d}}{\mathrm{d}t} \mathbb{E}\left(e^{t x}\right)=0+E(x)+\dfrac{2 t}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$求二阶导数：
$$ \begin{equation} \dfrac{\mathrm{d}^{2}}{\mathrm{d}t^{2}} \mathbb{E}\left(e^{t x}\right)=0+0+E\left(x^{2}\right)+\cdots \end{equation} $$这样的求导可以继续下去。可以归纳出：
求 $k$ 阶导数，并代入 $t = 0$ ，即可得到 $\mathbb{E}(X^k)$
例子：求 $X \sim \operatorname{Uniform}(a, b)$ 的期望与方差。
各种 MGF 的推导
均匀分布
$$ \begin{align} & \mathbb{E} \left(e^{t x}\right) \\ &=\int_{a}^{b} e^{t x} \cdot \dfrac{1}{b-a} \mathrm{d} x \\ &=\dfrac{1}{b-a} \cdot \dfrac{1}{t} \int_{a}^{b} e^{t x} \mathrm{d}(t x) \\ &=\left.\dfrac{1}{b-a} \cdot \dfrac{1}{t} e^{t x}\right|_{a} ^{b} \\ &=\dfrac{e^{b t}-e^{a t}}{t(b-a)} \end{align} $$泊松分布
$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{-t x}\right) &=\sum_{k=0}^{n} e^{t k} \cdot \dfrac{\lambda^{k} e^{-\lambda}}{k !} \\ &=\sum e^{t k-\lambda} \cdot \dfrac{\lambda^{k}}{k !} \\ &=e^{-\lambda} \sum e^{t k} \cdot \dfrac{\lambda^{k}}{k !} \\ &=e^{-\lambda} \sum \dfrac{\left(e^{t} \lambda\right)^{k}}{k !} \\ &=e^{-\lambda} \cdot e^{e^{t \lambda} \lambda} \\ &=e^{\left(e^{t}-1\right) \lambda} \end{aligned} \end{equation} $$一阶导数：
$$ \begin{equation} \begin{aligned} M_{X}^{\prime}(t) &=\left[e^{\left(e^{t-1}\right) \lambda}\right]^{\prime} \\ &=\left[\left(e^{t-1}\right) \lambda\right]^{\prime} \cdot e^{\left(e^{t}-1\right) \lambda} \\ &=\lambda e^{t} \cdot e^{\left(e^{t-1}\right) \lambda} \\ \mathbb{E}(x) &=\lambda . \end{aligned} \end{equation} $$二阶导数：
$$ \begin{equation} \begin{aligned} M {x}^{\prime\prime}(t) &=\left[\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right]^{\prime} \\ &=\lambda e^{t} \cdot\left[e^{\left(e^{t}-1\right) \lambda}+\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right] \\ &=\lambda e^{t}\left(\lambda e^{t}+1\right) e^{\left(e^{t}-1\right) \lambda} \\ \mathbb{E}\left(x^{2}\right) &=\lambda^{2}+\lambda \end{aligned} \end{equation} $$伽马分布
$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t} \cdot f(x) \mathrm{d} x \\ &=\int_{-\infty}^{\infty} e^{x t} \cdot \dfrac{\lambda^{\alpha} x^{\alpha-1} e^{-\lambda x}}{\Gamma(\alpha)} \mathrm{d} x \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \int_{0}^{\infty} e^{-(\lambda-t) x} \cdot x^{\alpha-1} \mathrm{d} x \\ &{\color{#22a097}{\operatorname{let} u=( \lambda-t) x \text{ then } \mathrm{d}u=(\lambda-t) \mathrm{d} x}} \\ \mathbb{E}\left(e^{t x}\right) &=\dfrac{\lambda^{\alpha}}{r(\alpha)} \int_{0}^{\infty} e^{-u} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \cdot\left(\dfrac{1}{\lambda-t}\right)^{-1} \dfrac{\mathrm{d}u}{\lambda-t} \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \int_{0}^{\infty} e^{-u} \cdot u^{\alpha-1} \mathrm{d}u \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \quad \Gamma(\alpha) \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot \dfrac{\Gamma(\alpha)}{(\lambda-t)^{\alpha}} \\ &=\left(\dfrac{\lambda}{\lambda-t}\right)^{\alpha} \\ &=\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \end{aligned} \end{equation} $$一阶导数
$$ \begin{aligned} M_{x}^{\prime}(t) &=\left(\dfrac{1}{1-\beta t}\right)^{\prime} \cdot \alpha\left(\dfrac{1}{1-\beta t}\right)^{\alpha-1} \\ &=\beta \cdot \dfrac{\alpha}{(1-\beta t)^{\alpha+1}} \end{aligned} $$据此
$$ \mathbb{E}(X) = \alpha \beta $$二阶导数
$$ \begin{aligned} M_{x}^{\prime \prime}(t) &=\alpha \beta\left[\left(\dfrac{1}{1-\beta t}\right)^{\alpha+1}\right]^\prime \\ &=\alpha \beta\left[(\alpha+1)\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \cdot\left(\beta \cdot \dfrac{1}{(1-\beta t)^{2}}\right)\right] \\ &=\alpha \beta\left[(\alpha+1) \beta \cdot \dfrac{1}{(1-\beta t)^{\alpha+2}}\right] \\ &=\alpha(\alpha+1) \beta^{2} \cdot(1-\beta t)^{-(\alpha+2)} \end{aligned} $$据此
$$ \mathbb{E}(X^2) = \alpha (\alpha +1)\beta ^{2} $$$$ \mathbb{V}(X) = \alpha \beta ^{2} $$指数分布
令 $\alpha = 1$，得到指数分布的 MGF：
$$ \dfrac{\lambda }{\lambda - t} $$正态分布
考虑 $\sigma ^{2} = 1 \wedge \mu = 0$ ，此时为标准正态分布。
$$ \begin{equation} \begin{aligned} N(x) &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \\ \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t}\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2} x^{2}+x t\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}\left(x^{2}-2 x t+t^{2}\right)+\frac{1}{2} t^{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}(x-t)^{2}\right\} \exp \left\{\frac{1}{2} t^{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-t)^{2}} \mathrm{d}x \\ &=e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-t)^{2}}{2}} \mathrm{d}x \\ &=e^{\frac{t^{2}}{2}} \cdot 1 \\ &=e^{\frac{t^{2}}{2}} \end{aligned} \end{equation} $$参考
All of statistics