Hoofdstuk 5

Hoofdstuk 5
Toevalsveranderlijken en
waarschijnlijkheidsdistributies
Marnix Van Daele
[email protected]
Vakgroep Toegepaste Wiskunde en Informatica
Universiteit Gent
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 1/23
Toevalsveranderlijken
Experiment : worp met muntstuk
resultatenruimte = {K, M }
n = 2 onafhankelijke experimenten
P(K) = P(M ) = 12
I = aantal keer kop
munt 1 munt 2 P(Ei ) I
E1
K
K
1/4
2
E2
K
M
1/4
1
E3
M
K
1/4
1
E4
M
M
1/4
0
i
0
1
2
P (I = i)
1
4
2
4
1
4
kansverdeling van de
toevalsveranderlijke I
Een toevalsveranderlijke is een numerieke functie gedefinieerd
over de resultatenruimte.
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 2/23
Notaties
Een discrete toevalsveranderlijke is een veranderlijke die
hoogstens een aftelbaar aantal waarden kan aannemen. Met
aftelbaar wordt bedoeld dat de waarden geassocieerd kunnen
worden met de getallen 1, 2, 3, . . . .
Een continue toevalsveranderlijke is een veranderlijke die een
oneindig groot aantal waarden, corresponderend met de punten
op een lijninterval, kan aannemen.
discreet
veranderlijke I, J, K, . . .
waarden
continu
X, Y , Z, . . .
i, j, k, . . .
x, y, z, . . .
P(I = i)
P(x ≤ X ≤ x + dx)
P(I ≤ w)
P(X ≤ w)
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 3/23
Waarschijnlijkheidsverdelingen
van een discrete toevalsveranderlijke I
P(I = i) = ϕI (i)
ϕI (i) ...........
..
0.50
i
0
1
2
ϕI (i)
1
4
2
4
1
4
0.25
. .
. . .
. .
. . .
. .
. . .
. . . . .
. .
. . . . . . . .
. . . . .
. .
. . . . . . . .
. . . . .
. .
0
1
2
......
..............
3 i
....
.........
ϕI (i) : differentiële distributiefunctie van φI (w)
......................................................•
.........................................
1
.. . . . .
... . . .
de discrete toevalsveranderlijke I
... . . . . . . .
......................................•
........................ . . . . . . .
.. . . . . . .
ΦI (w) : cumulatieve distributiefunctie 0.75
.. . . . . . .
.. . . . . . .
.. . . . . . . . . . . . .
.. . . . . . .
0.5
.. . . . . . .
van de discrete toevalsveranderlijke I
.. . . . . . . . . . . . .
.. . . . . .
......................•
..................... . . . . . .
.. . . . . . . . .
0.25
.. . . . . . . . . . . . . . . . .
.. . . . . . . . .
. . . . . . . . .........
ϕI (i)
ΦI (w) =
.........................
............
i≤w
0 1 2
w
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 4/23
Waarschijnlijkheidsverdelingen
van een continue toevalsveranderlijke X
P(x ≤ X ≤ x + dx) = ϕX (x) dx
ϕX (x) : differentiële
ϕX (x) ............
distributiefunctie of kansdichtheid
van de continue
toevalsveranderlijke X
........
.. ....
.
..
.
..
...
..
.
.
...
.
.
...
.
..
.
.
.
..
.
...
.
.
...
.
.
.
...
.
...
.
.
...
.
.
.
.
....
..
.
.
..... ...
.
.
..... ................
....................
.
x
ΦX (w) : cumulatieve
..
......
.
distributiefunctie van de continue φX (w) . ..
....... ....... ....... ....... ....... ....... ............................................
1
...... . . . .
.... . . . . . . . . . .
.
toevalsveranderlijke X
.
.. . . . . . .
.... . . . . .
.
... . . . . . .
w
... . . . . . . . . . . . . .
.
... . . . . . . .
... . . . . . . .
.
.
..... . . . . . . .
...... . . . . . . . . . . . . . . . .
.
.
ϕX (x) dx
ΦX (w) =
.
.
.
.
......
.............................
.............
−∞
d
ϕX (x) =
ΦX (x)
dx
w
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 5/23
Waarschijnlijkheidsverdelingen
van een continue toevalsveranderlijke X
ϕX (x) ............
..........
.. . .....
.
... . ..
..... . ....
.
. .. . ...
... .... . . . ......
.
. . . . ..
.. .... . . . . .....
.
.. .. . . ....
.. ... . . . .......
.
... . . ... ....
..
... . . . . . .. ....
...
.
.
..
.. . . . .. ...... .
.
.
.
.
..... ................
.
.
..................
...
x1 x2
ΦX (w) =
x2
x1
x2
−∞
w
−∞
ϕX (x) dx
ϕX (x) dx
x1
−∞
=
=
x
P(x1 < X ≤ x2 ) =
P(x ≤ X ≤ x + dx) = ϕX (x) dx
ϕX (x) dx +
ϕX (x) dx −
= ΦX (x2 ) − ΦX (x1 )
x2
−∞
x1
−∞
ϕX (x) dx
ϕX (x) dx
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 6/23
Opmerking
voor continue toevalsveranderlijken
ϕX (x) ............
..........
.. . .....
.
... . ..
..... . ....
.
. .. . ...
... .... . . . ......
.
. . . . ..
.. .... . . . . .....
.
.. .. . . ....
.. ... . . . .......
.
... . . ... ....
..
... . . . . . .. ....
...
.
.
..
.. . . . .. ...... .
.
.
.
.
..... ................
.
.
..................
...
x1 x2
De kans dat een continue
toevalsveranderlijke X een waarde
aanneemt in een oneindig klein
x interval [x, x + dx] is ϕX (x) dx.
De kans dat X een welbepaalde waarde x aanneemt daarentegen
is steeds 0 (je zou kunnen stellen dat het interval breedte 0
heeft).
P(x1 < X ≤ x2 ) = P(x1 ≤ X ≤ x2 )
= P(x1 ≤ X < x2 )
= P(x1 < X < x2 )
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 7/23
De transformatie Y = a X + b
a > 0 : ΦY (y) = P(Y ≤ y) = P(a X + b ≤ y)
y−b
y−b
= ΦX
= P X≤
a
a
y−b
1
y−b
y−b
d
= ϕX
dy
ϕY (y) dy = ϕX
a
a
a
a
a < 0 : ΦY (y) = P(Y ≤ y) = P(a X + b ≤ y)
y−b
y−b
= P X≥
= 1 − ΦX
a
a
1
y−b
y−b
y−b
d
=
dy
ϕY (y) dy = −ϕX
ϕX
a
a
−a
a
1
y−b
ϕY (y) dy =
dy
ϕX
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 8/23
|a|
a
De transformatie Y = a X + b
1
0.5
0
1
1
0.5
0.5
34
X
1
1
0.5
0.5
0.25
0
2
56
Y =X +2
0 12
5
Y =5−X
0 1 3
Y = 1 + X/2
0 1 3
9
Y = 9 − 2X
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 9/23
De transformatie Y = a X + b
1
ϕY (y) dy =
ϕX
|a|
y−b
a
dy
Concreet betekent de overgang van X op Y dat ϕX (x) en ΦX (x)
worden (i) verschoven, (ii) eventueel gespiegeld (als a < 0) en
(iii) in de breedte uitgerokken (als |a| > 1) of samengedrukt (als
|a| < 1).
1.75
van links naar rechts
1.5
X
1.25
1
Y1 = X + 2
0.75
Y2 = 4 − X
0.5
1
11
Y
=
X
+
3
2
2
0.25
Y4 = 2 X + 8
4
2
6
10
8
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 10/23
Karakteristieken
De verwachtingswaarde E[f (X)] van een functie f (X) van een
• discrete toevalsveranderlijkeX wordt gedefinieerd als
E[f (X)] =
f (xi ) ϕX (xi )
i
• continue toevalsveranderlijkeX wordt gedefinieerd als
E[f (X)] =
+∞
−∞
f (x) ϕX (x) dx
E[a f (X) + b g(X)] = a E[f (X)] + b E[g(X)]
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 11/23
Karakteristieken
discreet
E[f (I)] =
f (i)ϕI (i)
continu
+∞
E[f (X)] =
f (x)ϕX (x) dx
i
E[1] =
−∞
+∞
ϕI (i) = 1
i
µI = E[I] =
E[1] =
ϕX (x) dx = 1
−∞
i ϕX (i)
+∞
µX = E[X] =
x ϕX (x) dx
i
µk,I = E[I k ] =
−∞
+∞
ik ϕX (i) µk,X = E[X k ] =
i
µk : moment van de k’de orde
xk ϕX (x) dx
−∞
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 12/23
Karakteristieken
discreet
E[f (I)] =
f (i)ϕI (i)
i
continu
+∞
E[f (X)] =
f (x)ϕX (x) dx
−∞
µk,I = E[(I − µI )k ]
µk,X = E[(X − µX )k ]
+∞
=
(i − µI )k ϕX (i)
=
(x − µX )k ϕX (x) dx
i
−∞
µk : centraal moment van de k’de orde
µ1,I = E[I − µI ] = E[I] − µI E[1] = µI − 1 µI = 0
σI2 = µ2,I = E[(I − µI )2 ]
2
σX
= µ2,X = E[(X − µX )2 ]
σI2 = E[(I − µI )2 ] = E[I 2 − 2 µI I + µ2I ]
= E[I 2 ] − 2 µI E[I] + µ2I E[1] = µ2,I − µ2I
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 13/23
µ, σ en σ
2
discreet
E[f (I)] =
f (i)ϕI (i)
i
µI =
i ϕX (i)
continu
+∞
E[f (X)] =
f (x)ϕX (x) dx
−∞
+∞
µX =
x ϕX (x) dx
i
σI2 =
i2 ϕX (i) − µ2I
2
σX
=
i
σI = σI2
−∞
+∞
x2 ϕX (x) dx − µ2X
−∞
σX =
2
σX
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 14/23
De transformatie Y = a X + b
E[Y ] = E[a X + b] = a E[X] + b
µa X+b = a µX + b
σY2 = E[(Y −µY )2 ] = E[(a X+b−(a µX +b))2 ] = a2 E[(X−µX )2 ]
2
σa2 X+b = a2 σX
σa X+b = |a| σX
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 15/23
Karakteristieken
De gemiddelde afwijking van een veranderlijke X is
E[|X − µX |].
De modus of dominerende waarde van een discrete veranderlijke
X is de waarde waarbij de waarschijnlijkheid het grootst is. Voor
een continue veranderlijke is de modus de waarde waarvoor de
waarschijnlijkheidsdichtheid het grootst is.
De mediaan van een veranderlijke X is de waarde w waarvoor
ΦX (w) = 1/2.
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 16/23
De momentenfunctie
+∞
E[etX ] =
et x ϕX (x) dx
−∞
+∞
+∞
+∞
1 2 2
= 1 ϕX (x) dx + t x ϕX (x) dx + t x ϕX (x) dx + . . .
2!
−∞
−∞
µ2 2
= 1 + µ1 t +
t + ...
2!
+∞
µi i
=
t
i!
i=0
−∞
momentenfunctie MX (t) = E[exp(tX)]
Stelling : Ma X+b (t) = eb t MX (a t)
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 17/23
Onafhankelijke veranderlijken
A en B zijn onafhankelijke verschijnselen
⇐⇒ P(A · B) = P(A) P(B)
Stel A = (X ≤ x) en B = (Y ≤ y)
X en Y zijn onafhankelijke toevalsveranderlijken
⇐⇒ P((X ≤ x) · (Y ≤ y)) = P(X ≤ x) P(Y ≤ y) ∀x, y ∈ R
⇐⇒ ΦX,Y (x, y) = ΦX (x) ΦY (y) ∀x, y ∈ R
afleiding naar x en naar y :
d
d
d d
ΦX,Y (x, y) =
ΦX (x) ΦY (y) = ϕX (x) ϕY (y)
=⇒
dx dy
dx
dy
⇐⇒ ϕX,Y (x, y) dx dy = ϕX (x) ϕY (y) dx dy
P ((x ≤ X ≤ x + dx) · (y ≤ Y ≤ y + dy)) = ϕX,Y (x, y) dx dy
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 18/23
Onafhankelijke verschijnselen
Stelling Zijn X1 , X2 , . . . , Xn twee aan twee onafhankelijk dan
n
geldt voor Y = a0 +
ai Xi dat
i=1
MY (t) = ea0 t
n
MXi (ai t)
i=1
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 19/23
Onafhankelijke verschijnselen
Als Z = a X + b Y , dan is
µZ = E[a X + b Y ] = a E[X] + b E[Y ] = a µX + b µY
σZ2 = E[(Z − µZ )2 ]
= E[(a X + b Y − (a µX + b µY ))2 ]
= E[(a (X − µX ) + b (Y − µY ))2 ]
= a2 E[(X − µX )2 ] + 2 a b E[(X − µX ) (Y − µY )]
+b2 E[(Y − µY )2 ]
2
= a2 σX
+ 2 a b σXY + b2 σY2
de covariantie van X en Y : σXY = E[(X − µX ) (Y − µY )]
2
Opmerking : σXX = E[(X − µX ) (X − µX )] = σX
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 20/23
Onafhankelijkheid – covariantie
Stelling : Als X en Y onafhankelijk zijn, dan is σXY = 0.
Bewijs :
σXY
= E[(X − µX ) (Y − µY )]
+∞ +∞
=
(x − µX ) (y − µY ) ϕX,Y (x, y) dx dy
−∞
+∞
−∞
+∞
(x − µX ) (y − µY ) ϕX (x) ϕY (y) dx dy
−∞
−∞
+∞
+∞
(x − µX ) ϕX (x) dx
(y − µY ) ϕY (y) dy
=
=
=
−∞
µX,1 µY,1
−∞
= 0
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 21/23
Lineaire combinaties
Zij Z =
n
ai Xi waarbij µXi = µi en σXi = σi en σXi Xj = σij .
i=1
µZ =
n
ai µi
i=1
σZ2 =
n
a2i σi2 + 2
i=1
n−1 n
ai aj σij
i=1 j=i+1
Indien alle veranderlijken 2 aan 2 onafhankelijk zijn,
vereenvoudigt deze betrekking tot
σZ2 =
n
a2i σi2
i=1
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 22/23
Correlatie
σXY
De correlatiecoëfficiënt ρXY =
drukt uit in hoeverre er
σX σY
een lineair verband bestaat tussen X en Y .

 µ = aµ + b
Y
X
Y = a X + b =⇒
 σY = |a| σX
σXY
= E[(X − µX ) (Y − µY )]
= E[(X − µX ) ((a X + b) − (a µX + b))]
2
= a E[(X − µX )2 ] = a σX
ρXY

 1
2
a>0
σXY
a σX
a
=
=
=
=
σX σY
σX (|a| σX )
|a|  −1 a < 0
ρXY = 0 ⇐⇒ X en Y zijn ongecorreleerd
Toevalsveranderlijken en waarschijnlijkheidsdistributies – p. 23/23