Fundamentos de probabilidade Rubens Sampaio
Roberta Lima
[email protected]
[email protected]
Departamento de Engenharia Mecânica
LNCC - Programa de Verão 2017 PUC-Rio: DEM
Organização do curso 1
Conceitos básicos − Espaço de probabilidade − Objetos aleatórios
• Variáveis aleatórias (v.a.): discretas e contínuas • Vetores aleatórios • Processos estocásticos − Estatísticas de primeira e segunda ordem − Condicionamento − Independência
2
O que é incerteza? − Medida de incerteza: reducionismo? − Uso de estatísticas para medir incerteza PUC-Rio: DEM
Organização do curso
3
Transformação de um objeto aleatório: − Soma de v.a. independentes e dependentes
4
O que é propagação de incerteza? − É possível quantificar? − O que diz a literatura?
5
Método de Monte Carlo − Modelo probabilístico − Modelo estatístico
6
Construção de um modelo probabilístico − Princípio da máxima entropia?
PUC-Rio: DEM
Conceitos básicos Seja (Ω, F, Pr) um espaço de probabilidade. Ω é um conjunto não vazio, chamado de espaço amostral (ensemble), que contém todas as possibilidades de resultados; F é uma σ -álgebra em Ω (conjunto de subconjuntos de Ω aos quais se associam uma probabilidade); Pr é uma medida de probabilidade em F com valores em [0, 1] tal que: − Pr(Ω) = 1 − dados A1 , A2 , . . ., eventos disjuntos em F, então: Pr(
∞ [
i=1
∞
Ai ) = ∑ Pr(Ai ) i=1
PUC-Rio: DEM
Conceitos básicos
F é uma σ -álgebra de subconjuntos de Ω se satisfaz:
1 2
3
∅ ∈ F;
A ∈ F implica que o complementar AC ∈ F; A1 , A2 , · · · ∈ F implica
∞ [
i=1
Ai ∈ F.
Um elemento de F é chamado de evento. Só associamos probabilidades aos eventos. Se A ∈ / F, então não sabemos associar uma probabilidade a A.
PUC-Rio: DEM
Conceitos básicos
Experimento simples: lançamento de um dado de 6 faces.
1
2
3
Todos os possíveis resultados:
Ω = {1, 2, 3, 4, 5, 6}
Exemplo de possíveis σ -álgebras em Ω: F1 = 2Ω F2 = {∅, Ω, {1, 2} , {3, 4, 5, 6} } Exemplo de um conjunto que não é σ -álgebra em Ω: F3 = {∅, Ω, {1, 3} , {2, 4, 5, 6} , {1, 2, 3} , {4, 5, 6} }
PUC-Rio: DEM
Conceitos básicos Seja (Ω, F, Pr) um espaço de probabilidade e seja C ∈ F um evento tal que Pr(C) 6= 0.
C é uma informação. A partir dela, podemos redefinir as probabilidades. C define um novo espaço de probabilidade (C, FC , PrC ) e PrC é uma medida de probabilidade em F.
FC = F ∩ C Pr(A ∩ C) = Pr(A|C) PrC (A) = Pr(C)
PUC-Rio: DEM
Independência
Eventos independentes: Dois eventos A e B são independentes quando: Pr(A|B) =
Pr(A ∩ B) = PrB (A) = Pr(A) Pr(B)
Pr(B|A) =
Pr(A ∩ B) = PrA (B) = Pr(B) Pr(A)
Temos então: Pr(A ∩ B) = Pr(A)Pr(B).
PUC-Rio: DEM
Independência Eventos independentes: Três eventos A, B e C são independentes quando: Pr(A ∩ B) = Pr(A)Pr(B) Pr(A ∩ C) = Pr(A)Pr(C) Pr(B ∩ C) = Pr(B)Pr(C) Pr(A ∩ B ∩ C) = Pr(A)Pr(B)Pr(C)
PUC-Rio: DEM
Independência depende da medida de probabilidade Experimento: retirar 1 carta de um baralho com 52 cartas. Espaço amostral:
σ -álgebra em Ω:
Ω = {todas as possíveis cartas} F = 2Ω
Eventos: A = {carta é dama}
B = {carta é copas}
Vamos definir duas medidas de probabilidade em F.
PUC-Rio: DEM
Independência depende da medida de probabilidade 1a Medida: uniforme Pr(qualquer carta) =
1 52
A = {carta é dama}
=⇒
Pr(A) =
4 52
B = {carta é copas}
=⇒
Pr(B) =
13 52
A ∩ B = {dama de copas}
=⇒
Pr(A ∩ B) =
1 4 13 = 52 52 52
A e B são eventos independentes. PUC-Rio: DEM
Independência depende da medida de probabilidade 2a Medida: não uniforme (baralho viciado) 1 2 1 1 1 = Prv (outra carta 6= valete de paus) = 2 51 102
Prv (valete de paus) =
1 Prv (A ∩ B) = Prv (dama de copas) = 102 52 1 13 Prv (A)Prv (B) = 4 = 102 102 1022
A e B não são eventos independentes na nova medida. PUC-Rio: DEM
Conceitos básicos Visão geral: ponto de vista abstrato Temos um espaço de probabilidade (Ω, F, Pr): Ω 6= ∅;
F é uma σ -álgebra; Pr : F −→ [0, 1], Pr é uma medida de probabilidade definida em F. Porém, em geral, F não é especificado.
Forma de simplificar: variável aleatória.
PUC-Rio: DEM
Variável aleatória discreta Ponto de vista de um experimentador Uma variável aleatória (v.a.) descreve um experimento. Uma v.a. discreta real, X, em (Ω, F, Pr), é uma função real:
X :
Ω −→ R ω 7−→ X(ω ) ,
tal que: sua imagem, X(Ω), é um subconjunto discreto de R X −1 (x) = {ω ∈ Ω : X(ω ) = x} ∈ F, ∀x ∈ R (mensurabilidade) PUC-Rio: DEM
Variável aleatória discreta Mensurabilidade: “condição para o transporte da probabilidade”. X −1 (x) = {ω ∈ Ω : X(ω ) = x} ∈ F, ∀x ∈ R
PUC-Rio: DEM
Variável aleatória discreta
A probabilidade de X assumir um valor menor ou igual a x ∈ R é calculada través da função distribuição de probabilidade cumulativa de X, PX : PX :
R −→ [0, 1] x 7−→ PX (x) = Pr({ω ∈ Ω : X(ω ) ≤ x}) .
É usual utilizar a notação simplificada: Pr({ω ∈ Ω : X(ω ) ≤ x}) = Pr(X ≤ x) .
PUC-Rio: DEM
Variável aleatória discreta Sejam x1 , x2 , . . . os valores assumidos por X. A função de massa de X, pX , é: pX :
R −→ [0, 1] . x 7−→ pX (x) = Pr({ω ∈ Ω : X(ω ) = x})
Note que pX (x) é a probabilidade de x. Além disso: (i) pX (x) = 0, ∀ x ∈ / X(Ω);
(ii)
∑
x∈X(Ω)
pX (x) = Pr
[
x∈X(Ω)
{ω ∈ Ω : X(ω ) = x} = Pr(Ω) = 1. PUC-Rio: DEM
Variável aleatória discreta Problema: Seja (Ω,F, Pr) um espaço de probabilidade no qual: Ω = {1, 2, 3, 4, 5, 6} ,
F = {0, / {2, 4, 6} , {1, 3, 5} , Ω},
e sejam V e W funções em Ω:
V(ω ) =
1, 0,
se ω é par , se ω é ímpar
W(ω ) = ω 2 ,
para todo ω ∈ Ω. Determine quais dessas funções são v.a. discretas em (Ω, F, Pr).
PUC-Rio: DEM
Variável aleatória discreta Solução:
V(ω ) =
1, 0,
se ω é par se ω é ímpar
1a condição: V(Ω) é um subconjunto discreto de R? V(Ω) = {0, 1} =⇒ Sim! 2a condição: V −1 (x) = {ω ∈ Ω : V(ω ) = x} ∈ F, ∀x ∈ R? V −1 (0) = {1, 3, 5} ∈ F V −1 (1) = {2, 4, 6} ∈ F =⇒ Sim! V −1 (R \ {0, 1}) = ∅ ∈ F
A função V é uma variável aleatória discreta. PUC-Rio: DEM
Variável aleatória discreta Solução:
W(ω ) = ω 2
1a condição: W(Ω) é um subconjunto discreto de R? W(Ω) = {1, 4, 9, 16, 25, 36} =⇒ Sim! 2a condição: W −1 (x) = {ω ∈ Ω : W(ω ) = x} ∈ F, ∀x ∈ R? V −1 (9) = {3} ∈ / F =⇒ Não!
A função W não é uma variável aleatória discreta. PUC-Rio: DEM
Variável aleatória discreta 2 (Ω) = {X : Ω −→ R}. Seja o conjunto das v.a. discretas, Ldis 2 (Ω) é um espaço de Hilbert. Ldis
Função esperança: E :
2 (Ω) −→ R Ldis
X
n
7−→ E[X] = µX = ∑ xi pX (xi ) . i=1
2 (Ω): Dados X, Y ∈ Ldis
2 (Ω): Norma de X ∈ Ldis
hX, Yi = E[X Y] 2 (Ω). é um produto interno em Ldis kXk =
p E[X 2 ]
PUC-Rio: DEM
Variável aleatória discreta Exemplo de v.a. discreta: função indicatriz 1A Seja A ∈ F, então a função 1A é uma v.a.: 1A :
Ω −→ {0, 1}
ω 7−→ 1A (ω ) =
1, 0,
se ω ∈ A se ω ∈ /A
e Pr(A) = E[1A ] Eventos (elementos de F) podem ser vistos como v.a.. Nesse sentido, o conceito de v.a. generaliza o conceito de evento. Exemplos:
1∅ ≡ 0
1Ω ≡ 1 PUC-Rio: DEM
Variável aleatória discreta Teorema: Dado uma função (mensurável) h : R → R, então Y = h(X) é também uma v.a. discreta e:
n
E[Y] = E[h(X)] = ∑ h(xi )pX (xi ) . i=1
Vantagem: Calcula-se E[Y] a partir de pX . A função pY não precisa ser conhecida.
PUC-Rio: DEM
Variável aleatória discreta Estatísticas (reducionismo):
PUC-Rio: DEM
Variável aleatória discreta Algumas estatísticas de X:
esperança:
n
µX = E[X] = ∑ xi pi i=1
variância:
n
var(X) = E[(X − µX )2 ] = ∑ (xi − µX )2 pi i=1
desvio padrão:
p σX = var(X)
coeficiente de variação: momento de ordem k:
δX =
σX , µX n
E[X k ] = ∑ (xi )k pi i=1
entropia:
µX 6= 0
n
ηX = − ∑ pi ln pi ≥ 0 i=1
PUC-Rio: DEM
Visão geométrica de v.a. Melhor aproximação de X por uma constante. Projeção de uma v.a. X no subespaço gerado por 1Ω , V: 2 V = Z ∈ Ldis (Ω) : Z é constante: Z(ω ) = λ ∈ R, ∀ω ∈ Ω . Procura-se:
min kX − λ k2 λ ∈R
min E[(X − λ )2 ] = min E[X 2 ] − 2E[X]λ + λ λ ∈R
λ ∈R
Derivando e igualando a zero:
λ = E[X] PUC-Rio: DEM
Visão geométrica de v.a. Melhor aproximação de X por uma constante: esperança. Erro da aproximação: variância.
A variância e coeficiente de variação estão relacionados com erros, respectivamente, absoluto e relativo.
PUC-Rio: DEM
Variável aleatória discreta Experimento: lançamento de uma moeda: cara (prob. p) coroa (prob. q = 1 − p) Podemos definir v.a. discretas diferentes: fazer lançamentos de uma moeda
binomial: número de caras obtidas
lançar moeda até aparecimento de cara
geometrica: número de lançamentos até aparecer a primeira cara
lançar moeda até aparecerem caras
binomial negativa: número de lançamentos até aparecerem caras PUC-Rio: DEM
Variável aleatória discreta Binomial: Bn Bn é o número de caras obtidas em n lançamentos.
suporte discreto: {0, 1, · · · , n} função de massa: Pr(Bn = b) = pBn (b) =
n b n! pb (1−p)n−b p (1−p)n−b = b!(n − b)! b
esperança: np variância: n p(1 − p) PUC-Rio: DEM
Variável aleatória discreta Exemplo: Binomial Bn 0.2
n = 20 n = 40
pBn
0.15 0.1 0.05 0 0
10
20
b
30
40
Figura: Função de massa da v.a. binomial Bn para n lançamentos, considerando-se p = 0.6.
PUC-Rio: DEM
Variável aleatória discreta Exemplo: Geométrica: W1 W1 é o número de lançamentos até aparecer a primeira cara.
suporte discreto: {1, 2, 3, · · · } função de massa: Pr(W1 = n) = pW1 (n) = (1 − p)n−1 p esperança: variância:
1 p
1−p p2
PUC-Rio: DEM
Variável aleatória discreta Exemplo: Geométrica W1 0.8
p = 0.2 p = 0.5 p = 0.8
pW1
0.6 0.4 0.2 0
1
5
n
10
Figura: Função de massa da v.a. geométrica W1 para diferentes valores de probabilidade p.
PUC-Rio: DEM
Variável aleatória discreta Exemplo: Binomial negativa: Wr Wr é número de lançamentos até aparecerem r caras.
suporte discreto: {r, r + 1, r + 2, · · · } n−1 r função de massa: pWr (n) = p (1 − p)n−r r−1 esperança: variância:
r p
r(1 − p) p2 PUC-Rio: DEM
Variável aleatória discreta Exemplo: Binomial negativa Wr Função de massa de W3 e W5 para diferentes valores de probabilidade w. W3
W10
0.6
0.6
w = 0.2 w = 0.5 w = 0.8
0.4
pW 3
pW10
0.4
w = 0.2 w = 0.5 w = 0.8
0.2
0
0.2
3
10
n
20
30
0
PUC-Rio: DEM
10
n
20
30
Variável aleatória contínua Uma v.a. contínua real, X, no espaço de probabilidade (Ω, F, Pr) é uma função real:
X :
Ω −→ R ω 7−→ X(ω )
tal que X −1 (x) = {ω ∈ Ω : X(ω ) ≤ x} ∈ F, ∀x ∈ R (mensurabilidade).
PUC-Rio: DEM
Variável aleatória contínua A distribuição de probabilidade cumulativa, PX , de X, é: PX :
R −→ [0, 1] x 7−→ PX (x) = Pr({ω ∈ Ω : X(ω ) ≤ x})
Algumas propriedades de PX : 0 ≤ PX (x) ≤ 1, ∀x ∈ R;
PX é monotonicamente não decrescente; lim PX (x) = 1
x→∞
e
lim PX (x) = 0.
x→−∞
PUC-Rio: DEM
Variável aleatória contínua
Se PX puder ser escrita na forma: PX (x) = Pr(X ≤ x) =
Z x
−∞
pX (u) du
então, pX é chamada de função densidade de probabilidade (pdf) de X e satisfaz:
pX (x) ≥ 0 ,
∀x ∈ R
Z ∞
−∞
PUC-Rio: DEM
pX (x) dx = 1
Variável aleatória contínua
A pdf não é uma probabilidade, ou seja, pode ocorrer pX (x) > 1. Veja que Z x+h x
pX (x)dx ≈ pX (x)h
logo pX (x)h é a probabilidade do intervalo (x, x + h). Observe que a probabilidade de um ponto é zero. No caso da v.a. discreta, a função de massa é uma probabilidade.
PUC-Rio: DEM
Variável aleatória contínua Teorema: Dado uma função (mensurável) h : R → R, então Y = h(X) é também uma variável aleatória contínua e:
E[h(X)] =
Z ∞
−∞
h(x) pX (x) dx .
Vantagem: Calcula-se E[Y] a partir de pX . A função pY não precisa ser conhecida.
PUC-Rio: DEM
Variável aleatória contínua Algumas estatísticas de X: esperança: variância:
µX = E[X] =
−∞
x pX (x) dx
σX2 = var(X) = E[(X − µX )2 ] = E[X 2 ] − µX2
desvio padrão:
σX =
p var(X)
coeficiente de variação: momento de ordem k: entropia:
Z ∞
ηX = −
Z ∞
−∞
δX =
(⋆ ) (⋆ ) (⋆ )
σX , µX
µX 6= 0
Z ∞
xk pX (x) dx
E[X k ] =
−∞
pX (x) ln pX (x) dx ∈ R
(⋆ ) quando a integral converge PUC-Rio: DEM
(⋆ )
Variável aleatória contínua q-quantil: dado q ∈ [0, 1], o q-quantil é um valor xq ∈ R tal que Pr(X ≤ xq ) = q . Exemplo: sendo q = 1/2, o 1/2-quantil (mediana) é um valor xq ∈ R tal que Pr(X ≤ xq ) =
1 . 2 esperança: x0 moda: x1 e x2 mediana: ∀x ∈ [x3 , x4 ]
PUC-Rio: DEM
Variável aleatória contínua Exemplo: v.a. uniforme em [a, b] 2
pX
suporte: [a, b]
1
esperança: variância:
1 b−a
a+b 2
(b − a)2 12
0 0
2
1
x
2
3
suporte: [1, 2] suporte: [0.5, 2.5]
PX
densidade: pX (x) = 1[a,b] (x)
suporte: [1, 2] suporte: [0.5, 2.5]
1 0 0
PUC-Rio: DEM
1
x
2
3
Variável aleatória contínua Exemplo: v.a. normal 1
pX
suporte: (−∞, ∞)
µ = −3, σ2 = 0.4 µ = 0, σ2 = 5.0 µ = 2, σ2 = 1.0
0.5
densidade:
0 −5
x
0
5
0
5
pX (x) = √1 σ 2π
esperança: µ variância:
− (x−µ2)
e
2
2σ
1
PX
1(−∞,∞) (x)
0.5
σ2 0 −5
PUC-Rio: DEM
x
Variável aleatória contínua Exemplo: v.a. exponencial suporte: [0, ∞)
pX
1.5 1
0.5
densidade:
0 0
pX (x) = 1[0,∞) (x) × λ exp (−λ x)
variância:
1 λ
1 λ2
x
5
1
PX
esperança:
λ = 0.5 λ = 1.0 λ = 1.5
0.5 0 0
PUC-Rio: DEM
x
5
Variável aleatória contínua Exemplo: v.a. Gama 2
pX
suporte: [0, ∞)
1
µ = 1, µ = 2, µ = 2, µ = 3,
σ2 σ2 σ2 σ2
= 0.2 = 1.0 = 5.0 = 0.5
densidade: 0 0
pX (x) = 1[0,∞) (x)× 2 µ2 µ2 2 2 −1 × 1µ 2 σµ δ x σ 2 exp −x σµ σ2
)
esperança: µ
5
1
PX
µ Γ(
x
0.5
variância: σ 2
0 0
PUC-Rio: DEM
x
5
Variável aleatória contínua Exemplo: v.a. Cauchy 2
densidade: pX (x) = 1(−∞,∞) (x)
1
1 2 x−x0 πγ 1 + γ
0 −5
0
x
5
1
PX
posição: x0 escala: γ
x0 = −3, γ = 0.4 x0 = 0, γ = 1.5 x0 = 2, γ = 1.0
pX
suporte: (−∞, ∞)
0.5
não tem esperança, variância e momentos.
0 −5
PUC-Rio: DEM
0
x
5
Vetor aleatório Um vetor aleatório X é uma função em Rn : X : Ω −→ Rn ω 7−→ X(ω ) = x
tal que X−1 (x) = {ω ∈ Ω : X1 (ω ) ≤ x1 , · · · , Xn (ω ) ≤ xn } ∈ F, ∀x ∈ Rn , onde as componentes são v.a. reais:
X1 X = ... . Xn PUC-Rio: DEM
Vetor aleatório
A função distribuição de probabilidade cumulativa associada a X é a função: PX : Rn −→ [0, 1] x 7−→ PX (x) = Pr({ω ∈ Ω : X1 (ω ) ≤ x1 , · · · , Xn (ω ) ≤ xn }) É usual utilizar a notação simplificada: PX (x) = Pr(X1 ≤ x1 , X2 ≤ x2 , · · · , Xn ≤ xn ).
PUC-Rio: DEM
Vetor aleatório A função densidade de probabilidade, pX , de X é: pX (x) =
∂n PX (X) , ∂ x1 ∂ x2 · · · ∂ xn
chamado também de densidade de probabilidade conjunta de X1 , · · · , Xn . A função densidade de probabilidade marginal de Xj , j = 1, · · · , n, é calculada por: pXj (xj ) =
Z
Rn−1
pX (x) dx1 · · · dxj−1 dxj+1 · · · dxn .
PUC-Rio: DEM
Vetor aleatório Independência Sejam X1 , · · · , Xn variáveis aleatórias independentes, componentes de um vetor aleatório X: pX (x) = pX1 (x1 ) × · · · × pXn (xn ) . Note que: pX =⇒ pX1 , · · · , pXn 6 pX pX1 , · · · , pXn =⇒
PUC-Rio: DEM
Vetor aleatório Exemplo: Seja X ∈ R2 um vetor aleatório com suporte k = [0, ∞) × [0, ∞) ⊂ R2 e função densidade de probabilidade: pX (x) = 1k (x) 2e−x1 −x2 2
pX
1.5 1
0.5 0 0 2 4
x1
PUC-Rio: DEM
6
0
2
4
x2
6
Vetor aleatório Exemplo: As funções densidades de probabilidade marginais de X1 e X2 são: pX1 (x1 ) =
Z
pX (x) dx2 = 1[0,∞) (x1 )2e−x1
pX2 (x2 ) =
Z
pX (x) dx1 = 1[0,∞) (x2 )2e−x2
R
R
pX1 (x1 ) × pX2 (x2 ) 6= pX (x)
As v.a. X1 e X2 não são independentes. PUC-Rio: DEM
Vetor aleatório Estatísticas (reducionismo):
PUC-Rio: DEM
Vetor aleatório Algumas estatísticas de X: µX1 média: E[X] = µX = ... µXn 2 σX1 .. 2 variância: σX = . σX2n
entropia:
η =−
Z
Rn
pX (x) ln pX (x) dx
PUC-Rio: DEM
Vetor aleatório A matriz de covariância de X ∈ Rn é a matriz n × n:
[c] =
E[(X1 − µX1 )2 ] · · · E[(X1 − µX1 )(Xn − µXn )] E[(X2 − µX2 )(X1 − µX1 )] · · · E[(X2 − µX2 )(Xn − µXn )] .. .. .. . . . E[(Xn − µXn )2 ] E[(Xn − µXn )(X1 − µX1 )] · · ·
Os elementos na diagonal são:
cjj = σX2j
j = 1, · · · , n.
Note que: X1 , · · · , Xn são independentes =⇒ [c] é uma matriz diagonal. PUC-Rio: DEM
Processo estocástico Seja Var(Ω,F, Pr) o conjunto de todas as v.a. Um processo estocástico, X , é uma função: X :
T −→ Var(Ω,F, Pr) t 7−→ X (t)
T é um conjunto de parâmetros discreto ou contínuo. Para um determinado t ∈ T, X (t) é uma variável aleatória definida em (Ω,F, Pr).
PUC-Rio: DEM
Processo estocástico Para um determinado t ∈ T, X (t) é uma v.a. com distribuição de probabilidade cumulativa PX (t) :
R −→ [0, 1] x 7−→ PX (t) (x) = Pr({ω ∈ Ω : X (t, ω ) ≤ x})
Se PX (t) puder ser escrita na forma: PX (t) (x) = Pr(X (t) ≤ x) =
Z x
−∞
pX (t) (u) du
então, pX (t) é chamada de função densidade de probabilidade (pdf) de X (t).
PUC-Rio: DEM
Processo estocástico Um processo estocástico é completamente determinado se a distribuição de probabilidade cumulativa de todas as famílias de v.a. (X (t1 ), . . . , X (tm )) obtidas ∀m ∈ N e todo (t1 , . . . , tm ) ∈ T m , escrita como: PX (t1 ),...,X (tm ) : Rn −→ [0, 1] x 7−→ PX (t1 ),...,X (tm ) (x) = Pr({ω ∈ Ω : X1 (ω ) ≤ x1 , · · · , Xn (ω ) ≤ xm }) for conhecida. Em geral, não existe distribuição de probabilidade para um processo estocástico.
PUC-Rio: DEM
Processo estocástico Estatísticas (reducionismo):
PUC-Rio: DEM
Processo estocástico Algumas estatísticas de primeira ordem de X : esperança: variância:
µX (t) = E[X (t)] =
R
x(t) pX (t) (x) dx
σX2 (t) = var(X (t)) = E[(X (t) − µX (t))2 ]
desvio padrão: entropia:
Z
σX (t) =
ηX (t) = −
Z
R
p
var(X (t))
pX (t) (x) ln (pX (t) (x)) dx
(⋆ ) quando a integral converge PUC-Rio: DEM
(⋆ ) (⋆ )
Processo estocástico Algumas estatísticas de segunda ordem de X : correlação:
rX (t1 , t2 ) = E[X (t1 )X (t2 )]
covariância: cX (t1 , t2 ) = E[(X (t1 ) − µX (t1 ))(X (t2 ) − µX (t1 ))] Propriedades: ∀(t1 , t2 ) ∈ T × T rX (t1 , t2 ) = rX (t2 , t1 ) cX (t1 , t2 ) = cX (t2 , t1 ) cX (t1 , t2 ) = rX (t1 , t2 ) − µX (t1 )µX (t2 ).
PUC-Rio: DEM
Processo estocástico Exemplo de processo estocástico: X (t) = At, t ∈ R ≥ 0, sendo A uma v.a. com esperança µA e variância σA2 . Esperança, variância e correlação:
µX (t) = E[At] = tE[A] = t µA σX2 (t) = E[(At − t µA )2 ] = t2 σA2 rX (t1 , t2 ) = = = =
E[X (t1 )X (t2 )] E[At1 At2 ] t1 t2 E[A2 ] t1 t2 (σA2 + µA2 ) PUC-Rio: DEM
Processo estocástico Exemplo de processo estocástico: X (t) = At Considerando-se µA = 1 e σA2 = 2:
25
300
µX ± σX µX
cX (t1 , t2 )
Envelope
20 15 10 5
200 100 0 10
0
5 −5 0
2
4
t
6
8
10
t2
PUC-Rio: DEM
0 0
t1
5
10
Discussão sobre o que é incerteza
Algumas expressões são usadas frequentemente na literatura mas não tem um sentido bem estabelecido:
1
quantificação de incertezas;
2
propagação de incertezas.
PUC-Rio: DEM
Discussão sobre o que é incerteza
A Word of Warning. UQ is not a mature field like linear algebra or singlevariable complex analysis, with stately textbooks containg well-polished presentations of classical theorems bearing August names like Cauchy, Gauss and Hamilton. Both because of its youth as a field and its very close engagement with applications, UQ is much more about problems, methods and ''good enough for the job''. There are some very elegant approaches within UQ, but as yet no single, general, over-arching theory of UQ.
Sullivan, T. Introduction to uncertainty quantiffication. Springer, 2015.
PUC-Rio: DEM
O que é incerteza? Incerteza ⇐⇒ decisão não é clara n eventos: Probabilidade de acontecer:
x1 p1
x2 p2
... ...
xn pn
Máxima incerteza: p1 = p2 = . . . = pn . Certeza: uma das probabilidades é 1 e as outras são 0.
Incerteza não depende de {x1 , . . . , xn }. Depende de {p1 , . . . , pn }. Incerteza é a própria função de massa. PUC-Rio: DEM
Discussão sobre o que é incerteza
Quantificação de incertezas: É possível medir incerteza? Quais são as medidas? Estatísticas? − Variância? − Coeficiente de variação? − Entropia?
Medida de incerteza é um reducionismo?
PUC-Rio: DEM
É possivel medir incerteza? O que diz a literatura? Estatísticas são usadas para medir incerteza. Exemplos: variância
coeficiente de variação
entropia
Estatísticas objeto aleatório - Variável aleatória - Vetor aleatório - Processo estocástico
objeto determinístico Podem ser usadas como medida de incerteza? Reducionismo? PUC-Rio: DEM
Estatísticas não são medida incerteza
Alguns problemas em usar estatísticas para medir incerteza:
1
reducionismo;
2
dimensão: não podemos usar a mesma medida/estatística para todos os objetos aleatórios;
3
significado: as estatísticas tem significados diferentes.
PUC-Rio: DEM
Estatísticas não são medida incerteza Dimensão: não podemos usar a mesma medida/estatística para todos os objetos aleatórios.
PUC-Rio: DEM
Estatísticas não são medida incerteza Significado: as estatísticas tem significados diferentes Melhor aproximação de X por uma constante: esperança. Erro da aproximação: variância
A variância e coeficiente de variação estão relacionados com erros, respectivamente, absoluto e relativo.
Como veremos, se entropia é considerado a medida de incerteza, σ 2 and δ = σ /µ não são medidas de incerteza. PUC-Rio: DEM
Estatísticas não são medida incerteza
Exemplos: 1
densidade bimodal
2
densidade Gaussiana
3
densidade Gama
PUC-Rio: DEM
Exemplo: densidade bimodal Família de v.a. contínuas, parametrizadas por d, com densidade bimodal pd simetricamente distribuída em torno da esperança µ .
1, pd (x) = 1, 0,
x ∈ [µ − (d/2) − (1/2) , µ − (d/2)] , x ∈ [µ + (d/2) , µ + (d/2) + (1/2)] , em todos os outros casos. PUC-Rio: DEM
Exemplo: densidade bimodal Variância: Entropia:
σd2 = E[(X − µ )2 ] = ηd = −
Z ∞
−∞
1 (3d2 + 3d + 1) 12
pd (x) ln pd (x) dx = 0
Para um valor fixo µ , a medida que d cresce,
σd2 e δd = σ /µ (µ 6= 0) crescem. ηd permanece constante.
Podemos variar σd2 e δd = σ /µ independentemente com entropia fixa.
PUC-Rio: DEM
Exemplo: densidade Gaussiana Família de v.a. contínuas, parametrizadas por µ , com densidade Gaussiana pµ (x) = √ Entropia:
ηµ = −
Z ∞
−∞
1 2σ 2 π
− (x−µ2)
e
p(x) ln p(x) dx =
2
2σ
.
1 ln (2σ 2 π e ) 2
A esperança µ não entra na fórmula final da entropia. Todas as Gaussianas com a mesma σ 2 tem a mesma entropia. Uma translação muda µ e δµ = σ /µ , mas não altera o valor de ηµ .
PUC-Rio: DEM
Exemplo: densidade Gama Família de v.a. contínuas X com densidade Gama p(x) =
x 1 xk − 1 e− θ , k Γ(k)θ
com k > 0 e θ > 0. Esperança:
µ = kθ
Variância:
σ 2 = kθ 2
Entropia:
η = k + ln θ + ln[Γ(k)] + (1 − k)ψ (k)
onde ψ é a função digama.
PUC-Rio: DEM
Exemplo: densidade Gama
Quando µ = 1.0, η decresce a medida que σ 2 cresce. Quando µ = 3.0 − para σ 2 < 9.0, η cresce a medida que σ 2 cresce; − para σ 2 > 9.0, η decresce a medida que σ 2 cresce. Entropia and σ 2 podem não variar no mesmo sentido. PUC-Rio: DEM
Quantificação de incertezas Conclusões: Ao contrário do que diz a literatura, incertezas não são caracterizadas por estatísticas. − Dimensão. − Significado.
Aparentemente, incerteza é dada pela própria distribuição de probabilidade. Uma redução não parece ser possível. Há incerteza quanto a quantificação de incerteza!
PUC-Rio: DEM
Transformação de um objeto aleatório
PUC-Rio: DEM
Transformação de um objeto aleatório
Problema: Soma de variáveis aleatórias Seja um vetor aleatório X =
X1 X2
com densidade pX .
Determine a densidade de probabilidade da v.a. que é a soma das componentes, Z = X1 + X2 .
PUC-Rio: DEM
Soma de variáveis aleatórias A distribuição cumulativa de Z = X1 + X2 é:
Pr(Z ≤ z) = Pr(X1 + X2 ≤ z) = =
Z ∞Z z
−∞ −∞
Z ∞ Z z−x2 −∞ −∞
pX (x1 , x2 )dx1 dx2
pX (v − x2 , x2 )dvdx2
onde foi feita a substituição x1 = v − x2 . Mudando a ordem de integração e derivando:
Pr(Z ≤ z) = pZ (z) =
Z ∞Z z
−∞ −∞
Z z
−∞
pX (v − x2 , x2 )dydv
pX (v − x2 , x2 )dy
PUC-Rio: DEM
Soma de variáveis aleatórias pZ (z) =
Z z
−∞
pX (v − x2 , x2 )dx2
Caso X1 e X2 sejam dependentes: pZ (z) =
Z z
−∞
pX (v − x2 , x2 )dx2
=⇒ Densidade conjunta!
Caso X1 e X2 sejam independentes: pX (x1 , x2 ) = pX1 (x1 ) pX2 (x2 )
pZ (z) =
Z z
−∞
pX1 (v−x2 )pX2 (x2 )dx2 =⇒ Convolução das marginais! PUC-Rio: DEM
Exemplo Seja X um vetor de componentes X1 e X2 independentes |X2 | se X1 ≥ 0 N (0, 1). Seja Z = . −|X2 | se X1 < 0 Vamos calcular a distribuição de Z: Caso z < 0 PZ (z) = Pr(Z ≤ z) = Pr(X1 < 0, −|X2 | ≤ z)
= Pr(X1 < 0)[Pr(X2 ≤ z) + Pr(X2 ≥ −z)] 1 = [2 Pr(X2 ≤ z)] = Pr(X2 ≤ z) = PX2 (z) 2
Caso z ≥ 0
PZ (z) = Pr(Z ≤ z) = Pr(X1 ≥ 0, |X2 | ≤ z)
= Pr(X1 ≥ 0)[Pr(X2 ≤ z) + Pr(X2 ≥ −z)] 1 = [2 Pr(X2 ≤ z)] = Pr(X2 ≤ z) = PX2 (z) 2 PUC-Rio: DEM
Exemplo
A distribuição de Z é a mesma que a de X1 , pois as probabilidades coincidem ∀z ∈ R.
X1 , X2 , Z têm a mesma densidade de probabilidade, N (0, 1). Porém X1 e Z não são independentes já que têm sempre o mesmo sinal.
PUC-Rio: DEM
Exemplo Geração de 10, 000 amostras do vetor aleatório X = X1 0.5
X1 X2
X2 N (0, 1)
0.5
0.4
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0
N (0, 1)
0 −5
0 x1
5
−5
0 x2
5 Z
0.5
N (0, 1)
0.4
Histograma de Z construído com as amostras de X:
0.3 0.2 0.1 0 −5
PUC-Rio: DEM
0 z
5
.
Exemplo Scatter plot das 10, 000 amostras.
4
z
2 0
−2 −4 −4
−2
0
x1
2
PUC-Rio: DEM
4
Exemplo
Soma de variáveis aleatórias normais: X1 + X2 (independentes) 0.4
N (0, 2)
X1 + Z (dependentes) 0.4
0.3
0.3
0.2
0.2
0.1
0.1
0
0 −5
0 x1 + x2
5
−5
PUC-Rio: DEM
0 x1 + z
5
O que seria propagação de incerteza?
Saída:
Entrada:
objeto aleatório
Transformação
objeto aleatório Incerteza na saída
Incerteza na entrada
PUC-Rio: DEM
O que seria propagação de incerteza?
O que diz a literatura? Propagação de incerteza é determinar como a incerteza na resposta de um sistema é afetada pelas incertezas na entrada.
Obviamente, antes de tudo, é necessário quantificar as incertezas da entrada e saída.
PUC-Rio: DEM
O que seria propagação de incerteza?
Medidas usadas na literatura: medida na entrada: coeficiente de variação medida na saída: gráfico envelope (média e variância)
medida na entrada: coeficiente de variação; medida na saída: gráfico da entropia.
PUC-Rio: DEM
O que seria propagação de incerteza? Exemplo do que é feito na literatura: Equação de movimento: m x¨ (t) + k x(t) = 0 , x(0) = 1 m ,
Solução com m = 1.0 kg: √ x(t) = cos ( kt) . Modelo matemático.
PUC-Rio: DEM
x˙ (0) = 0 m/s.
O que seria propagação de incerteza? Saída:
Entrada:
Transformação
é v.a. discreta
processo estocástico
Função de massa Bernoulli:
Para t > 0, X (t) tem distribuição de Bernoulli. p(K = 1, X (t) = cos (t)) = 1/2 p(K =
π2 π , X (t) = cos ( t)) = 1/2 4 2 PUC-Rio: DEM
O que seria propagação de incerteza?
Entrada: K
σK2 ≈ 0.53 coeficiênte de variação: entropia: ηK ≈ 0.69 variância:
δK =
σK µK
≈ 0.42
Saída: X
µX (t) = 21 cos (t) + 12 cos ( π2 t) 2 variância: σX2 (t) = 41 cos (t) − cos ( π2 t) entropia: ηX (t) = − 21 ln 12 + 21 ln 12 ≈ 0.69 esperança:
PUC-Rio: DEM
O que seria propagação de incerteza?
Gráfico envelope × gráfico da entropia µX ± σX µX
1.5
2 1.5
Entropia
Envelope
1 0.5 0 −0.5
0.5 0
−1 −1.5 0
1
5
10
15
20
−0.5 0
t [s]
5
10
t [s]
PUC-Rio: DEM
15
20
O que seria propagação de incerteza? Exemplo do que é feito na literatura: Equação de movimento: m x¨ (t) + k x(t) = f (t) , x(0) = 1 m ,
Solução com m = 1.0 kg e f (t) = t: √ t x(t) = cos ( kt) + . k Modelo matemático.
PUC-Rio: DEM
x˙ (0) = 0 m/s.
O que seria propagação de incerteza? Saída:
Entrada:
Transformação
é v.a. discreta
processo estocástico
Função de massa Bernoulli:
Para t > 0, X (t) tem distribuição de Bernoulli. p(K = 1, X (t) = cos (t)) = 1/2 p(K =
π2 π , X (t) = cos ( t)) = 1/2 4 2 PUC-Rio: DEM
O que seria propagação de incerteza? Entrada: K
σK2 ≈ 0.53 coeficiênte de variação: entropia: ηK ≈ 0.69 variância:
Saída: X
esperança:
δK =
σK µK
≈ 0.42
µX (t) = 21 (cos (t) + t + cos ( π2 t) + π4t2 )
variância: σX2 (t) = n n o2 o2 πt cos ( π2t ) cos (t) t 2t 2t t 1 cos (t) 1 cos ( 2 ) + − − + − − + 2 2 2 2 2 2 2 2 2 2 π π 1 1 1 1 entropia: ηX (t) = − 2 ln 2 + 2 ln 2 ≈ 0.69 PUC-Rio: DEM
O que seria propagação de incerteza?
Gráfico envelope × gráfico da entropia µX ± σX µX
2
15
1.5
Entropia
Envelope graph
20
10 5 0 −5 0
1 0.5 0
5
10
15
20
−0.5 0
t [s]
5
10
t [s]
PUC-Rio: DEM
15
20
O que seria propagação de incerteza? Gráfico da variância × gráfico do coeficiente de variação 50
4
40
3
δX (t)
2 (t) σX
30 20
1
10 0 0
2
5
10
15
20
0 0
t [s]
5
10
15
20
t [s]
As estratégias que aparecem na literatura para medir propagação de incerteza são incoerentes. PUC-Rio: DEM
Transformação de um objeto aleatório
Entrada:
Transformação simples
Saída:
objeto aleatório
objeto aleatório Modelo probabilístico
Entrada:
Modelo probabilístico (obtido analiticamente) Transformação complicada
Saída:
objeto aleatório
objeto aleatório Modelo probabilístico
Modelo probabilístico Uma alternativa: modelo estatístico PUC-Rio: DEM
Método de Monte Carlo Fixado um erro:
Sampaio, R. e Lima, R. Modelagem Estocástica e Geração de Amostras de Variáveis e Vetores Aleatórios. Notas de Matemática Aplicada, SBMAC, vol.70, 2012. PUC-Rio: DEM
Método de Monte Carlo
No Método de Monte Carlo é fundamental:
construir um modelo probabilístico para entrada; gerar amostras do objeto aleatório da entrada; construir um modelo estatístico para a resposta.
PUC-Rio: DEM
Construção de um modelo estatístico
PUC-Rio: DEM
Construção de um modelo estatístico Dadas realizações x(1) , x(2) , . . . , x(m) de uma v.a. X, pode-se estimar valores para estatísticas de X.
µˆ X =
1 m (i) ∑x m i=1
1
Esperança amostral:
2
Variância amostral:
3
Desvio padrão amostral:
4
Momento de ordem k amostral:
5
Histograma
σˆ2 X =
2 1 m (i) ∑ (x − µˆ X ) m − 1 i=1
σˆ X
1 m (i) k ∑ (x ) m i=1
PUC-Rio: DEM
Construção de um modelo probabilístico Como construir um modelo probabilístico?
Quando muitas realizações do objeto aleatório são conhecidas, estima-se a pdf através do histograma normalizado. − Dificuldade: dimensão elevada do objetos aleatórios • Vetores aleatórios • Processos estocásticos Quando poucas (ou nenhuma) realizações são conhecidas, o que é feito na literatura? Princípio da Máxima Entropia (PEM). PUC-Rio: DEM
Construção de um modelo probabilístico
Porque usar o Princípio da Máxima Entropia? Dúvidas: 1
a distribuição dada pelo princípio não é necessariamente a verdadeira;
2
não garante máxima entropia na resposta.
PUC-Rio: DEM
Construção de um modelo probabilístico Exemplo de que o PEM não garante máxima entropia na resposta: Considere a transformação da v.a. X:
Y(X) =
0, 1,
se X ≤ 3/2 se X > 3/2
Dois possíveis modelos probabilísticos para X: uniforme em [0, 2] (máxima entropia); não-uniforme em [0, 2].
PUC-Rio: DEM
Construção de um modelo probabilístico Exemplo do Princípio da Máxima Entropia: Entrada:
Saída:
Transformação
Modelo probabilístico de
Modelo probabilístico de
Máxima entropia , prob. , prob.
Máxima entropia , prob. , prob.
PUC-Rio: DEM
A mensagem
Modelagem estocástica é uma área madura. Exemplos são mecânica estatística e mecânia quântica. Quantificação de incertezas e progação de incertezas ainda estão na infância.
PUC-Rio: DEM
Material adicional: artigos
PUC-Rio: DEM
Material adicional: slides
Minicurso no Uncertainties 2016 (Partes 1 e 2)
Slides de uma apresentação no CNMAC 2016
PUC-Rio: DEM
Material adicional: livros publicados/em preparação 2012
SBMAC vol. 66
2012
SBMAC vol. 70 PUC-Rio: DEM
2014
Próximos eventos
PUC-Rio: DEM
Fundamentos de probabilidade Rubens Sampaio
Roberta Lima
[email protected]
[email protected]
Departamento de Engenharia Mecânica
LNCC - Programa de Verão 2017 PUC-Rio: DEM
