Chapter 1 

b − β 10
_ _ _ ^ H 0 : β 1 = β 10 t * = 1
b1 =
∑ i
( X − X )Y i b0 = Y − b1 X
Y = β 0 + β 1 X + ε ei = Y − Y = Y − b 0 − b 1 X   Ch2    s (b1 )
Tests 
_
E (Y ) = β 0 + β1 X SSE = e 2 s 2 = SSE = MSE...df = n − 2, n − p H A : β 1 ≠ β 10 t * ≤ t (1 − α / 2; n − 2) : H 0
∑(Xi − X ) 2
∑ n−2
^
One Sided : t * ≤ t (1 − α ; n − 2) : H 0
Q = ∑ (Y − E (Y )) 2 Y = b0 + b1 X _
E ( MSE ) = σ , σ (b0 , b1 ) = − X σ (b1 )
2 2
p < α : H A use 0.5 ⋅ pvalue for 1 sided test
MSR
Equivalent : F * = , H 0 : β 1 = 0, F * ≤ F (1 − α ;1; n − 2)
MSE
‐ _ − −
Conf. β0 ,β1,E{YH}, YHNew, Y HNew MSE 2 1 X2 ^ 1 ( X − X )2 1 ( X − X )2   
b1 ± t (1 − α / 2; n − 2) s(b1 ) s 2 (b1 ) = s (b0 ) = MSE ( + ) s 2{Yh } = MSE ( + h ) s 2 ( pred ) = MSE (1 + + h )
S XX n S XX n S XX n S XX
MSE 2 ^
s 2 ( predmean) = + s {Yh }
m

Power:   β1 − β10 , use table with α, n‐2, δ.  Gives us prob. We are lead to HA    _ _ 2

δ= SSTO = ∑ (Y − Y ) 2 = ∑ Y 2 − n Y = SSTOU + SS (correctmean)....df = n − 1
 
σ (b1 )
^ _
SSR = ∑ (Y − Y ) 2 = b1 S XX ...df = 1 E ( MSE ) = σ 2 , E ( MSR) = σ 2 + β 1 S XX
2

Gen Lin F Test:  F * = SSE( R) − SSE ( F ) ÷ SSE( F ) , SSE( R) = SSTO, reduced mod elβ = 0 2 SSR sign based on sign of  b1   
^ ^
Conf Band:   Y ± Ws (Y )
h h R = , r = ± R2
dfr − dff
1
dff SSTO
W = 2 F (1 − α ; 2; n − 2)
2
F * ≤ F (1 − α ; dfr − dff ; dff ) : H 0
pearson _ _ _ _
 Int’s for ρ12:
r12 =
∑ (Y 1 − Y1 )(Y2 − Y2 )
,t* =
r12 n − 2
, same alt ' s rs =
∑ (R 1 − R1 )( R2 − R2 ) ⎛ 1 + r12 ⎞ 2 '
z ' = 0.5 ln⎜⎜ ⎟⎟, σ ( z ) =
1 α
, z ' ± z (1 − )σ ( z ' ), trans back to ρ
 

⎝ 1 − r12 ⎠ n−3 2
_ _
1− r 2 _ _

∑ (Y 1 − Y1 ) 2 ∑ (Y2 − Y2 ) 2 12
∑ (R1 − R1 ) 2 ∑ ( R 2 − R 2 ) 2
Chapter 3 
^
1. Non‐Lin Reg:  e vs. X or Y . (Look for horizontal band)   
a. F Test for Lack of Fit:  need 2, 4, 5 to use this test.  Ho:  E(Y) = β0 +β1X 
b. Need at least one set of replicas (otherwise it is gen linear F test) 
SSE ( R) − SSE ( F ) SSE ( F ) SSE − SSPE SSPE SSLF SSPE MSLF , c is number of distinct X’s.  
c. F* = ÷ = ÷ = ÷ =
dfr − dff dff (n − 2) − (n − c) n − c c − 2 n − c MSPE
*
_ (j’s go over each distinct X, i’s go over replicates within an X).  F  < F(1‐α; c‐2; n‐c) LINEAR 
SSPE = ∑∑ (Yij − Y j ) 2
j i
_ ^ _ ^
d. SSE = SSPE + SSLF (error deviation = pure error deviation + lack of fit deviation)  SSLF =
∑∑ (Y − Y
j i
j ij ) 2 = ∑ n j (Y j − Y j ) 2  
j

∑ n [µ − ( β 0 + β1 X j ]
2
2
e. nj = number of replicates.  E(MSPE) = σ .     
E ( MSLF ) = σ 2 + j j

c−2
^
2. Non Constancy of Variance:  e vs. X or Y . (Look for Horizontal band) 
a. Brown Forsythe:   − − _ _
, use same t test and t* < critical value: constant variance 
*
t BF =
d1 − d 2
, s2 =
∑ (d 1 − d1 ) 2 + ∑ (d 2 − d 2 ) 2
, d1 = e1 − e1
~

1 1 n−2
s +
n1 n2
2
* :  regress e  on X and get SSR.   χ BP < χ (1 − α ; 1) : constant variance. 
2
b. Breusch‐Pagen:   SSR * ⎛ SSE ⎞ 2 2
χ BP
2
= ÷⎜ ⎟ , SSR
2 ⎝ n ⎠
3. Outliers:  box plot or  e vs. X 
MSE
4. Non‐independence of Error terms:  sequence of residuals.   (Look for random scattering) 
5. Non‐normality of error terms:  box plot of residuals, normality probability plot (res vs. e(res under normality)) 
a.  Calculate e, then rank e 
b. Calculate expected value under normal:   ⎡ ⎛ k − 0.375 ⎞⎤   Plot a vs. c (Look for linear) 
MSE ⎢ z⎜ ⎟⎥
⎣ ⎝ n + 0.25 ⎠⎦
c. Table B.6:  Calculate correlation coefficient for ordered residuals and expected value under normal.  If it’s higher than tabled value, normal.  
6. Omission of Important X’s. 
Transformations:  Always transform X first because changing Y changes shape of distribution (to get a linear relationship).  If variances are unequal and non‐
normality is an issue, transforming Y is the best (BOX COX) 
Chapter 4: 
1. Joint Con. Bonferroni Intervals:   b ± Bs(b ) B = t (1 − α / 4; n − 2) Joint Con.  Intervals are conservative (wider than individual ones).   
0 0
^ ^
2. Sim Est of Mean Responses:  a. WH b. Bonferroni:   Y h ± Bs (Y h ) B = t (1 − α /( 2 g ); n − 2)  
^
3. Sim Pred for New Obs:  S = gF (1 − α ; g ; n − 2) Y h ± Ss( pred ) : Scheffe , Bonferroni same as above.   
2

 
Chapter 5:  X =  ⎡1 X 1 ⎤ Y = ⎡Y1 ⎤ ⎡ σ 2 (Y1 ) σ (Y1 , Y2 ) K σ (Y1 , Yn ) ⎤  W=AY E(W) = AE(Y)   σ2(W)= σ2(AY)=A σ2(Y)A’,    β= ⎡ β 0 ⎤  
⎢Y ⎥ 2 ⎢ ⎥ ⎢β ⎥
⎢1 X ⎥ σ (Y2 , Y1 ) σ 2 (Y2 ) K σ (Y2 , Yn )⎥
⎢ 2⎥ ⎢ 2 ⎥ σ {Y } = ⎢ ⎣ 1⎦
⎢M M ⎥ ⎢M⎥ ⎢ M M O M ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣⎢σ (Yn , Y1 ) σ (Yn , Y2 ) L σ (Yn ) ⎦⎥
2
⎣1 X n ⎦ ⎣Yn ⎦
 
^
E(Y)=Xβ, E(ε) = 0 (n x 1), σ (ε)= σ I (n x n).  b = (X’X)  X’Y   Y = Xb   H = X ( X ' X ) −1 X ' Idempotent:  HH = H.  e = Y – Xb = (I‐ H)Y, s (e) = MSE(I‐H) 
2 2 ‐1 2

2 ‐1
SSTO = Y’Y – (1/n)Y’JY = Y’[I‐(1/n)J]Y, SSE = e’e = Y’Y – b’X’Y = Y’(I‐H)Y, SSR  = b’X’Y – (1/n)Y’JY = Y’(H‐(1/n)J)Y.   s (b) = MSE(X’X) .