Kansrekening en stochastische processen (2S610)

12
Kansrekening en stochastische
processen 2DE18
Docent : Jacques Resing
E-mail: [email protected]
/k
1/29
12
Stochastische variabelen X 1 , . . . , X n zijn onafhankelijk (independent) als
voor alle x1 , . . . , xn
Discreet:PX 1 ,...,X n (x1 , . . . , xn ) = PX 1 (x1 )PX 2 (x2 ) · · · PX n (xn )
Continu:f X 1 ,...,X n (x1 , . . . , xn ) = f X 1 (x1 ) f X 2 (x2 ) · · · f X n (xn )
/k
2/29
12
Voorbeeld
De stochastische variabelen Y1 , . . . , Y4 hebben een gezamenlijke kansdichtheid:
(
4 0 ≤ y1 ≤ y2 ≤ 1, 0 ≤ y3 ≤ y4 ≤ 1
f Y1 ,...,Y4 (y1 , . . . , y4 ) =
0 anders
Zijn Y1 , Y2 , Y3 en Y4 onafhankelijk?
/k
3/29
12
Stochastische variabelen X 1 , . . . , X n zijn onafhankelijk en onderling identiek verdeeld (i.i.d.) als voor alle x1 , . . . , xn
Discreet:PX 1 ,...,X n (x1 , . . . , xn ) = PX (x1 )PX (x2 ) · · · PX (xn )
Continu:f X 1 ,...,X n (x1 , . . . , xn ) = f X (x1 ) f X (x2 ) · · · f X (xn )
/k
4/29
12
Stochastische vectoren X en Y zijn onafhankelijk (independent) als voor alle
x en y geldt:
Discreet:
Continu:
PX,Y (x, y) = PX (x)PY ( y)
f X,Y (x, y) = f X (x) f Y ( y)
/k
5/29
12
Voorbeeld
De stochastische variabelen Y1 , . . . , Y4 hebben een gezamenlijke kansdichtheid:
(
4 0 ≤ y1 ≤ y2 ≤ 1, 0 ≤ y3 ≤ y4 ≤ 1
f Y1 ,...,Y4 (y1 , . . . , y4 ) =
0 anders
We definiëren:
Y1
V =
,
Y4
Y2
.
W=
Y3
Zijn V en W onafhankelijk?
/k
6/29
12
Functies van een stochastische vector
Voor een stochastische variabele W = g(X):
X
Discreet:PW (w) = P[W = w] =
PX (x).
x
g(x)=w
Continu:FW (w) = P[W ≤ w] =
Z
Z
···
f X (x) dx1 · · · dxn
g(x)≤w
/k
7/29
12
Voorbeeld
Gegeven is een experiment waarbij we een willekeurig punt van de rand van
een cirkel met omtrek 1 selecteren. We herhalen dit experiment n keer. Yn
is de stochast die als waarde het maximum over de n uitkomsten aanneemt.
Bepaal de cumulatieve kansverdeling en de kansdichtheid van Yn .
/k
8/29
12
Zij X een vector van onafhankelijke identiek verdeelde stochastische variabelen elk met cumulatieve kansverdeling FX en kansdichtheid f X .
• De cumulatieve kansverdeling en de cumulatieve kansdichtheid van Y =
max{X 1 , . . . , X n } zijn:
FY (y) = [FX (y)]n ,
f Y (y) = n [FX (y)]n−1 f X (y),
• De cumulatieve kansverdeling en de cumulatieve kansdichtheid van
W = min{X 1 , . . . , X n } zijn:
FW (w) = 1 − [1 − FX (w)]n ,
f W (w) = n [1 − FX (w)]n−1 f X (w),
/k
9/29
12
Gegeven een stochastische vector X, wordt de verwachting van de stochastische variabele g(X) gegeven door:
Discreet:E[g(X)] =
X
···
x ∈S1
∞
···
−∞
g(x)PX (x)
x ∈Sn
∞
Zn
Z1
Continu:E[g(X)] =
X
g(x) f X (x) dx1 · · · dxn
−∞
/k
10/29
12
Als de componenten van X onafhankelijke stochastische variabelen zijn
dan:
E[g1 (X 1 )g2 (X 2 ) · · · gn (X n )] = E[g1 (X 1 )]E[g2 (X 2 )] · · · E[gn (X n )]
/k
11/29
12
Gegeven een continue stochastische vector X, definieer een afgeleide stochastische variabele Y zodanig dat Yk = a X k + b voor constanten a > 0 en
b.
De cumulatieve kansverdeling en de kansdichtheid van Y zijn:
y1 − b
yn − b
FY ( y) = FX
,...,
a
a
en
1
f Y ( y) = n f X
a
y1 − b
yn − b
,...,
a
a
/k
12/29
12
Als X een stochastische vector is en A een inverteerbare matrix, dan heeft
Y = AX + b een kansdichtheid:
1
−1
f Y ( y) =
f X A ( y − b)
| det( A)|
/k
13/29
12
Verwachting van een stochastische vector


E[X 1 ]
E[X] = µ X =  ... 
E[X n ]
Voor een stochastische matrix A met stochastische variabelen Ai j als het
(i, j)-de element, de verwachting E[ A] is een matrix met E[Ai j ] als het
(i, j)-de element.
/k
14/29
12
Vector correlatie
De correlatie (correlation) van een stochastische vector X is een n × n matrix
R X met als (i, j)-de element E[X i X j ]. In vector notatie:
R X = E[X X 0 ]
/k
15/29
12
Vector covariantie
De covariantie (covariance) van een stochastische vector X is een n×n matrix
C X met als (i, j)-de element Cov[X i , X j ]. In vector notatie:
C X = E[(X − µ X )(X − µ X )0 ]
/k
16/29
12
Voor een stochastische vector X met correlatiematrix R X , covariantiematrix
C X en vector verwachting µ X :
C X = R X − µ X µ0X
/k
17/29
12
Voorbeeld
Bepaal de verwachting E[X], de correlatiematrix R X en de covariantiematrix
C X van de twee-dimensionale stochastische vector X met:
(
2 0 ≤ x1 ≤ x2 ≤ 1
f X (x) =
0 anders
/k
18/29
12
Vector kruiscorrelatie
De kruiscorrelatie (cross-correlation) van stochastische vectoren X met n
componenten en Y met m componenten is een n × m matrix R XY met als
(i, j)-de element E[X i Y j ] of in vector notatie:
R XY = E[XY 0 ]
/k
19/29
12
Vector kruiscovarantie
De kruiscovariantie (cross-covariance) van stochastische vectoren X met n
componenten en Y met m componenten is een n × m matrix C XY met als
(i, j)-de element Cov[X i , Y j ] of in vector notatie:
C XY = E[(X − µ X )(Y − µY )0 ]
/k
20/29
12
Gegeven een n-dimensionale vector X en een m-dimensionale vector Y =
AX + b
Wat is de verwachting, correlatie en covariante van Y ?
Wat is de kruiscorrelatie en kruiscovariantie ?
/k
21/29
12
Voorbeeld
Gegeven is de twee-dimensionale stochastische vector X met:
(
2 0 ≤ x1 ≤ x2 ≤ 1
f X (x) =
0 anders
/k
22/29
12
Voorbeeld (vervolg)
Bepaal de verwachting, correlatie en covariantie van
Y = AX + b
met


1 0
A = 6 3 ,
3 6


0
b = −2
−2
Bepaal de kruiscorrelatie R XY en de kruiscovariantie C XY .
/k
23/29
12
Gaussische stochastische vector
X is de Gaussische (µ X , C X ) stochastische vector dan en slechts dan als:
1
1
−1
f X (x) =
exp (x − µ x )0 C X
(x − µ x )
n/2
1/2
2
(2π ) [det(C X )]
met det(C X ) de determinant van C X . We hebben det(C X ) > 0.
/k
24/29
12
Speciaal geval:
Stochastische variabelen X en Y hebben een bivariate Gaussische kansdichtheid met parameters µ1 , σ1 , µ2 , σ2 , en ρ als:
 f X,Y (x, y) =
1
p
2π σ1 σ2 1 − ρ 2

exp −
x−µ1
σ1
2
−
2ρ(x−µ1 )(y−µ2 )
σ1 σ2
2(1 − ρ 2 )
+
y−µ2
σ2
2 


met µ1 en µ2 willekeurige getallen, σ1 > 0 en σ2 > 0 en −1 < ρ < 1.
/k
25/29
12
Een Gaussische stochastische vector X heeft onafhankelijke componenten
dan en slechts dan als C X een diagonaalmatrix is.
Gegeven een n-dimensionale Gaussische stochastische vector X met verwachting µ X en covariantie C X .
Zij A een m × n matrix met rang A = m.
Voor Y = AX + b:
µY = Aµ X + b,
CY = AC X A0
/k
26/29
12
De n-dimensionale standaard normale stochastische vector Z is de ndimensionale Gaussische stochastische variabele met E[Z] = 0 en C Z = I .
Gegeven een Gaussische (µ X , C X ) stochastische vector en A een n × n matrix met de eigenschap A A0 = C X .
Dan is de stochastische vector
Z = A−1 (X − µ X )
een standaard normale stochastische vector.
/k
27/29
12
Gegeven een n-dimensionale standaard normale stochastische vector Z, een
inverteerbare matrix A en een n-dimensionale vector b.
Dan is:
X = AZ + b
is een n-dimensionale stochastische vector met verwachting µ X = b en covariantie matrix C X = A A0 .
/k
28/29
12
Voor een Gaussische stochastische vector X met covariantie C X , bestaat er
altijd een matrix A zodanig dat C X = A A0 .
/k
29/29