《概率论》课程教学资源（教案讲义）第四章 随机变量的数字特征 4.5 熵 第五章 母函数与特征函数及极限定理 5.1 母函数

85熵 熵是用来描述不确定性的量,对于离散型随机变量,记它的分布列为 Pn,熵是p,P2,…,Pn的函数,满足以下几个条件 1)熵是p,P2,…,Pn的连续函数 (2)在等概情况下,熵是n的连续函数; (3)Hmn,P2,)=B(m,P+)+(2+p3Bm+P3P2+P 在这些条件下,可以求得 Pn)=-c∑plp,c>0 由f()=-m是上凸函数知H(p,…,pn)≥-cn∑n 熵还有以下性质: (1)H(m1,…,mn)≥0,且H(P1,…,Pn)=0÷P(X=c)=1 (2)等概事件的熵最大 (3)若试验a,B独立,则H(a,B)=H(a)+H() 对连续型随机变量,定义H(a) p(a)Inp(a)dr 对连续型随机变量的熵,有下面的结论: (1)若p(x)集中在[a,b上,以均匀分布的熵最大 (2)若p(x)集中在一位直线上,方差为a,以正态分布的熵最大 (3)若p(x)集中在0,∞)上,均值为a,以指数分布的熵最大

1 §5 ￾ ✁✄✂✄☎✄✆✄✝✄✞✄✟✄✠✄✡☞☛☞✌☞✍✏✎✒✑☞✓☞✔☞✕☞✖✄✗☞✘☞✙☞✍✏✎✒✚☞✛☞✌☞✜☞✢☞✣✄✤ p1, p2, · · · , pn ✎✥✁✦✂ p1, p2, · · · , pn ✌✦✧✦★✩✎✥✪✦✫✦✬✦✭✯✮✦✰✯✱✯✲✴✳ (1) ✁✦✂ p1, p2, · · · , pn ✌✦✵✦✶✦✧✦★✸✷ (2) ✹✦✺✦✻✦✼✦✽✭✩✎✥✁✦✂ n ✌✦✵✦✶✦✧✦★✸✷ (3) H(p1, p2, p3) = H(p1, p2 + p3) + (o2 + p3)H( p2 p2 + p3 , p3 p2 + p3 ) ✾ ✹✦✿✦❀✱✦✲✦✭✩✎✥❁✦✬✯❂✦❃ H(p1, · · · , pn) = −c Xn i=1 pi lnpi , c > 0 ❄ f(x) = −lnx ✂✦❅✏❆❇✧✦★✦❈ H(p1, · · · , pn) > −clnXn i=1 p 2 i . ✁✦❉✦❊✦✬✦✭✦☛✦❋✸✳ (1) H(p1, · · · , pn) > 0 ✎✥● H(p1, · · · , pn) = 0 ⇐⇒ P(X = c) = 1 ✾ (2) ✺✦✻✦❍✲✦✌✦✁✦■✦❏✾ (3) ❑✦▲✦▼ α, β ◆✦❖✎✥P H(α, β) = H(α) + H(β) ✾ ✑✦✵✦✶✦✖✦✗✦✘✦✙✦✍✩✎✥✡✯◗ H(α) = Z ∞ −∞ p(x)lnp(x)dx ✾ ✑✦✵✦✶✦✖✦✗✦✘✦✙✦✍✦✌✦✁✩✎❘❊✯✭✦❙✯✌✦❚✯❯✴✳ (1) ❑ p(x) ❱✏❲❇✹ [a, b] ❅✩✎✥✬✦❳✦❨✦✜✦✢✦✌✦✁✯■✯❏✾ (2) ❑ p(x) ❱✏❲❇✹✦❩✦❬✦❭✦❪❅✩✎❴❫✯❵✦✤ σ ✎✥✬✦❛✦❜✦✜✦✢✦✌✦✁✦■✯❏✾ (3) ❑ p(x) ❱✏❲❇✹ [0, ∞) ❅✩✎✥❳✦❝✦✤ α ✎✥✬✦❞✦★✦✜✦✢✦✌✦✁✦■✦❏✾ 1

第五章母函数与特征函数及极限定理 §1母函数 定义设X为非负整值随机变量,它的概率分布列为 P(X=k)=pk,k=0,1 则它的母函数为 9(2 Pk2 由于pk≥0,且∑pk=1,故(2)的收敛半径R≥1 下面给出几个常见分布的母函数 (1)二项分布 设X~B(m,p),则它的母函数为 ()=∑Cmh (2) Poisson分布 设X~P(入),则它的母函数为 g(z) (3)几何分布 设X服从参数为P的几何分布,则它的母函数为 9(2)=∑p 母函数可以表示成期望的形式,根据随机变量函数的期望公式有 9(2)=∑p2=E(zx)

2 ❡✦❢✦❣ ❤✦✐✦❥✦❦✦❧✦♠✦✐✦❥✦♥✦♦✦♣✯q✦r §1 ❤✦✐✦❥ q✦s t X ✤✦✉✦✈✦✇✦❝✦✗✦✘✦✙✦✍✩✎❴✛✯✌✻✯①✜✯✢✯✣✦✤ P(X = k) = pk, k = 0, 1, 2, · · · , P✦✛✦✌✦②✦✧✦★✦✤ g(z) = X∞ k=0 pkz k . ❄❇✓ pk > 0 ✎✥● X∞ k=0 pk = 1 ✎✥③ g(z) ✌✦④✦⑤✦⑥✦⑦ R > 1 ✾ ✭✦❙✦⑧✏⑨❇✮✦✰✦⑩✦❶✦✜✦✢✦✌✯②✦✧✯★✾ (1) ❷✦❸✜✦✢ t X ∼ B(n, p) ✎✥P✦✛✦✌✦②✦✧✦★✦✤ G(z) = X∞ k=0 C k np k q n−k z k = (pz + q) n . (2) Poisson ✜✦✢ t X ∼ P(λ) ✎✥P✦✛✦✌✦②✦✧✦★✦✤ g(z) = X∞ k=0 λ k k! e −λ z k = e λ(z−1) . (3) ✮✦❹✦✜✦✢ t X ❺✦❻✦❼★✦✤ p ✌✦✮✦❹✦✜✦✢✩✎✥P✦✛✦✌✯②✯✧✦★✯✤ g(z) = X∞ k=0 pqk−1 z k = pz 1 − qz . ②✦✧✦★✦❁✦✬✦❽✦❾✦❿✦➀✦➁✦✌✯➂✦➃✸✎❴➄✯➅✯✗✯✘✦✙✯✍✯✧✦★✯✌✦➀✯➁✯➆✦➃✯❊ g(z) = X∞ k=0 pkz k = E(z X ). 2

母函数有以下性质: (1)母函数唯一确定了X的概率分布,=9(0) kl (2)EX=9(1),EX2=9(1)+9(1) (3)X与Y相互独立,则 gx+y(x)=9x(2)9y(z) 4)设X1,X2,…,Xn…独立同分布,Y与X1,X2,…独立, z=∑x,则z的母函数为 gz(s)=gr(gx(s) (1)(2)将g(2)展开为 Taylor级数即可知.下面先证明(4) 由母函数的期望表示形式,以及X1,X2,…相互独立且都和Y独立 有 EEE EIE E Egx(s) gr(gx(s)) (3)只需在(4)中取P(Y=2)=1即可

3 ②✦✧✦★✦❊✦✬✦✭✦☛✦❋✸✳ (1) ②✦✧✦★✦➇❩ ✠✦✡✦➈ X ✌✻✦①✜✦✢✩✎ pk = g (k) (0) k! ✾ (2) EX = g 0 (1), EX2 = g 00(1) + g 0 (1) ✾ (3) X ➉ Y ➊✦➋✦◆✦❖✎✥P gX+Y (z) = gX(z)gY (z). (4) t X1, X2, · · · , Xn · · · ◆✦❖✏➌✜✦✢✩✎ Y ➉ X1, X2, · · · ◆✦❖✎ Z = X Y i=1 Xi ✎✥P Z ✌✦②✦✧✦★✦✤ gZ(s) = gY (gX(s)). (1)(2) ➍ g(z) ➎✦➏✤ Taylor ➐ ★✦➑✦❁✦❈✾ ✭✦❙✯➒✯➓✏➔ (4) ✾ ❄✒②✯✧✯★✯✌✯➀✯➁✄❽✄❾✄➂✄➃→✎➣✬✄↔ X1, X2, · · · ➊✯➋✯◆✯❖●✯↕✯➙ Y ◆✯❖✎ ❊ gZ(s) = Es Z = Es x1+···+XY = E[s X1 s X2 · · · s XY ] = E[Es X1 · · · Es XY ] = EgX(s) Y = gY (gX(s)). (3) ➛✦➜✦✹ (4) ❲❇➝ P(Y = 2) = 1 ➑✦❁✾ 3