"Confidence intervals for parameters in linear regression: Estimation of β0 and β1, constructing confidence intervals for multiple areas of confidence"

Slide1Wykład 16Inne zagadnienia z prostej regresji liniowej

Slide2Łączna estymacja  β 0  i  β 1 • Dla jednego parametru konstruujemy przedziały ufności, dla kilku obszary ufności • Obszar ufności dla  (β 0 , β 1 )  określa zbiór prostych regresji (patrz ``pasmo’’ ufności dla prostej regresji). • Ponieważ wektor (b 0  , b 1 ) ma rozkład dwuwymiarowy normalny, naturalnym obszarem ufności jest elipsa. • My nauczymy się jak skonstruować prostokątny obszar ufności.

Slide3Korekta Bonferroni ego • Chcemy aby prawdopodobieństwo, że oba przedziały pokrywają odpowiednie parametry było co najmniej  .95 • Nasz ``zapas błędu’’ wynosi więc   ( α  =.05) • Połowę zużywamy na  β 0  (.025)  a połowę na β 1  (.025) • Konstruujemy 97.5% PU dla   β 0 • i 97.5%   PU dla  β 1

Slide4Korekta Bonferoniego (2) • b 1  ± t c s(b 1 ) • b 0  ± t c s(b 0 ) • gdzie   t c  = t(. 0125 , n-2) • . 0125  = (.05)/(2*2)

Slide5Nierówność Bonferroniego• Niech    A   oznacza zdarzenie, że przedział dla    β 0  pokrywa  β 0  a B niech oznacza zdarzenie, że przedział dla    β 1   pokrywa  β 1 • A’ i B’ oznaczają dopełnienia zdarzeń A i B • Chcemy aby P(A i B)  ≥ 0.95.

Slide6Nierówność Bonferoniego(2) • P (A i B )=1-P( A’ lub B’ ) • P( A’ lub B’ ) •      = P( A’ )+ P( B’ )- P(A’ i B’ ) •      ≤ P(A’)+P(B’) • Tak więc  P( A i B )   ≥ 1 – (P(A’)+P(B’))

Slide7Nierówność Bonferroniego(3) • P( A i B )   ≥  1-(P (A’) + P( B’ )) • Tak więc jeżeli P(A’)=P(B’)=  05/2 , wtedy • 1-(P( A’ )+ P( B’ )) = 1 – .05 =.95 • Tak więc  P( A i B )  ≥   0   .95

Slide8<.025.025 .025 .025

Slide9Przedziały ufności dlawartości oczekiwanej Y • Równoczesna estymacja dla wszystkich  X h , stosujemy ``pasmo’’ ufności   Working a - Hotelling a •       ± Ws(      )   gdzie  W 2 =2F(α; 2, n-2) •   • Gdy estymujemy tylko w kilku (g) punktach , można stosować korektę  Bonferroni ego •       ± Bs(       )   gdzie  B=t(α/(2g), n-2)

Slide10data a1; alpha=  0.05 ;n= 50 ; W2= 2 *finv( 1 -alpha, 2 ,n- 2 ); W=sqrt(W2); do g=1 to 15 by 1; B=tinv( 1 -alpha/ 2 / g ,n- 2 ); output; end; proc   print  data=a1;  run ;

Slide11Obs  alpha   n     g        W2         W          B  1     0.05    50     1    6.38145    2.52615    2.01063  2     0.05    50     2    6.38145    2.52615    2.31390  3     0.05    50     3    6.38145    2.52615    2.48078  4     0.05    50     4    6.38145    2.52615    2.59532

Slide12Obs alpha  n     g        W2         W          B 1     0.05    20     1    7.10911    2.66629    2.10092 2     0.05    20     2    7.10911    2.66629    2.44501 3     0.05    20     3    7.10911    2.66629    2.63914 4     0.05    20     4    7.10911    2.66629    2.77453

Slide13Równoczesne przedziałypredykcyjne • Równoczesna predykcja dla kilku   (g) punktów  X h , • Można stosować korektę  Bonferroni ego •      ± Bs(pred) • gdzie  B=t(α/(2g), n-2)

Slide14Regresja przez początek układu współrzędnych • Y i  = β 1 X i   +  ξ i • Opcja  NOINT  w  PROC REG • Ogólnie niezbyt dobry pomysł • Pr oblemy z R 2   i innymi statystykami

Slide15Błędy pomiarów• Błędy pomiarów dla   Y  na ogół nie stanowią problemu (wliczają się w zakłócenie losowe) , • Błędy pomiarów dla X mogą powodować obciążenie estymatora nachylenia

Slide16Wybór wartości X • W mianownikach wzorów na wariancję większości estymatorów występuje   Σ(X i  –      ) 2 • Tak, więc staramy się możliwie ``rozrzucić’’ wartości  X

Slide17Model w formie n równań• Y i   =   β 0  + β 1 X i   + ξ i • ξ i   są niezależnymi zmiennymi losowymi z rozkładu normalnego o wartości oczekiwanej  0  i wariancji   σ 2

Slide18Model w postacimacierzowej  

Slide19 Model w postaci macierzowej  (2)

Slide20Macierz eksperymentu

Slide21Wektor parametrów   

Slide22Losowy wektor zakłóceń

Slide23Losowy wektor zmiennejzależnej

Slide24Model w postacimacierzowej Y    =  X β   + ξ    Y         =   X         β     +  ξ nx1    nx2 2x1    nx1

Slide25Macierz kowariancji 

Slide26Macierz kowariancji dlawektora   ξ

Slide27Macierz kowariancji dla Y

Slide28Założenia w postacimacierzowej • ξ ~ N(0, σ 2 I) (rozkład wielowymiarowy normalny)

Slide29Równania normalne wpostaci macierzowej • X  Y = (X  X)β • Estymator najmniejszych kwadratów •  b = (b 0 , b 1 )   gdzie  b = (X  X) –1 (X  Y) • Te same wzory są prawdziwe w przypadku regresji wielorakiej (więcej zmiennych objaśniających).

Slide30Wartości przewidywane

Slide31Macierz H

Slide32Użyteczne twierdzenie• U ~ N(μ, Σ),  wektor wielowymiarowy normalny • V =  c + DU,  liniowe przekształcenie  U • c  jest wektorem , D  jest macierzą • V ~ N(c+Dμ, DΣD  )

Slide33Zastosowanie do wektora b • b = (X  X) –1 (X  Y) = ((X  X) –1 X  )( Y) • Y ~ N(Xβ, σ 2 I) • So b ~ N( (X  X) –1 X  ( Xβ), σ 2  ((X  X) –1 X  )   I ((X  X) –1 X  )  • b ~ N(β, σ 2  (X  X) –1 )