Using t Tests: Basic Introduction and 1 Sample t Tests

Slide1Using t-testsBasic introduction and 1-sample t-tests Statistics for the Social Sciences Psychology 340 Spring 2010

Slide2PSY 340Statistics for the Social Sciences Outline (for content up to Exam 2) • Review t-tests  (note: next exam is March 4, right before spring break) – One sample, related samples, independent samples – Effect sizes with t-tests – Confidence intervals in t-test type designs

Slide3PSY 340Statistics for the Social Sciences Statistical analysis follows design • The  one-sample z-test can be used when: – 1 sample – One score per subject – Population mean ( μ ) and standard deviation ( σ )are known

Slide4PSY 340Statistics for the Social Sciences Statistical analysis follows design • The  one-sample  t-test can be used when: – 1 sample – One score per subject – Population mean ( μ ) is known – but Population standard deviation ( σ ) is  NOT  known

Slide5PSY 340Statistics for the Social Sciences Testing Hypotheses – Step 1 : State your hypotheses – Step 2 : Set your decision criteria – Step 3 : Collect your data – Step 4 : Compute your test statistics • Compute your estimated standard error • Compute your t-statistic • Compute your degrees of freedom – Step 5 : Make a decision about your null hypothesis • Hypothesis testing: a five step program

Slide6PSY 340Statistics for the Social Sciences Performing your statistical test • What are we doing when we test the hypotheses? – Consider a variation of our memory experiment example Population of memory patients MemoryTest μ is known Memory treatment Memory patients Memory Test X Compare these two means Conclusions: •    the memory treatment sample are the same as those in the population of memory patients. •    they aren’t the same as those in the population of memory patients H 0 : H A :

Slide7PSY 340Statistics for the Social Sciences Performing your statistical test • What are we doing when we test the hypotheses? Real world (‘truth’) H 0 : is false (is a treatment effect) Two populations X A they aren’t the same as those in the population of memory patients H 0 : is true (no treatment effect) One population X A the memory treatment sample are the same as those in the population of memory patients.

Slide8PSY 340Statistics for the Social Sciences Performing your statistical test • What are we doing when we test the hypotheses? – Computing a test statistic:  Generic test Could be difference between a sample and a population, or between different samples Based on standard error or an estimate of the standard error

Slide9PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic One sample z One sample t identical

Slide10PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic Diff. Expected by chance Standard error One sample z One sample t different don’t know this, so need to estimate it

Slide11PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic Diff. Expected by chance Standard error Estimated standard error One sample z One sample t different “ Unbiased estimate of the population standard deviation ” This is the same as the “ sample standard deviation ”

Slide12PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic Diff. Expected by chance Standard error Estimated standard error One sample z One sample t different don’t know this, so need to estimate it Degrees of freedom

Slide13PSY 340Statistics for the Social Sciences One sample t-test • The t-statistic distribution (a transformation of the distribution of sample means transformed) – Varies in shape according to the degrees of freedom • New table: the  t-table

Slide14PSY 340Statistics for the Social Sciences One sample t-test If test statistic is here Fail to reject H 0 Distribution of the t-statistic If test statistic is here Reject H 0 – To  reject the H 0 , you want a computed test statistics that is large • The alpha level gives us the decision criterion • New table: the  t-table • The t-statistic distribution (a transformation of the distribution of sample means transformed)

Slide15PSY 340Statistics for the Social Sciences One sample t-test • New table: the t-table One tailed - or -  Two-tailed Critical values of t t crit Degrees of freedom df α - level

Slide16PSY 340Statistics for the Social Sciences One sample t-test • What is the t crit  for a two-tailed hypothesis test with a sample size of n = 6 and an  α -level of 0.05? Distribution of the t-statistic α = 0.05 Two-tailed n = 6 df  = n - 1 = 5 t crit  =  + 2.571

Slide17PSY 340Statistics for the Social Sciences One sample t-test Distribution of the t-statistic α = 0.05 One-tailed n = 6 df  = n - 1 = 5 t crit  = +2.015 • What is the t crit  for a  one-tailed  hypothesis test with a sample size of n = 6 and an  α-level of 0.05?

Slide18PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal, μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. Don’t know σ Do know s

Slide19PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Norma l, μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. • Step 1 : State your hypotheses H 0 : the memory treatment sample are the same (or worse) as those in the population of memory patients. H A : they perform better than those in the population of memory patients μ Treatment  >  μ pop  = 60 μ Treatment  < μ pop  = 60

Slide20PSY 340Statistics for the Social Sciences One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. • Step 2 : Set your decision criteria H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60 α = 0.05 One -tailed •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. An example:  One sample t-test

Slide21PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. • Step 2 : Set your decision criteria α = 0.05 One -tailed •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide22PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. α  = 0.05 One -tailed • Step 3 : Collect your data •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide23PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. α  = 0.05 One -tailed • Step 4 : Compute your test statistics = -2.5 •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide24PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. α  = 0.05 One -tailed • Step 4 : Compute your test statistics t  = -2.5 •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide25PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. α  = 0.05 One -tailed • Step 5 : Make a decision about your null hypothesis •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. t crit  = -1.753 H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide26PSY 340Statistics for the Social Sciences One sample t-test An example:  One sample t-test Memory experiment example: •   We give a n = 16 memory patients a memory improvement treatment. α  = 0.05 One -tailed • Step 5 : Make a decision about your null hypothesis •   How do they compare to the general population of memory patients who have a distribution of memory errors that is Normal,  μ = 60? •   After the treatment they have an average score of     = 55, s = 8 memory errors. -1.753 = t crit t obs =-2.5 - Reject H 0 H 0 :  μ Treatment  >  μ pop  = 60 H A : μ Treatment   < μ pop  = 60

Slide27PSY 340Statistics for the Social Sciences Assumptions of t-statistics • Values in the sample must be independent observations – Each observation is independent of all of the other observations (see pg 253 of your textbook for examples of non-independence) • The population that is sampled must be normally distributed – It turns out that t-tests are pretty robust against violations of this assumption, especially with large samples

Slide28PSY 340Statistics for the Social Sciences Effect Sizes & Power for 1-sample  t  Test Recall for the 1-sample z-test: Remember we don’t know these with the t-test design So for the 1-sample t-test we estimate the Cohen’s d: sample mean Pop mean from null hypothesis sample standard deviation

Slide29PSY 340Statistics for the Social Sciences Using SPSS: 1 sample t • Entering the data – Observations go into one column e.g., 2, 6, 5, 9 • Performing the analysis – Analyze -> Compare means -> one sample t-test – Identify which column to do your test on – Enter the ‘Test value’ – this is the population mean in the H 0 – Be careful, the default is 0, this may not be what you want • Reading the output – Mean of the sample, the computed-t, degrees of freedom, p-value (Sig.) (also reminds you of your test value)

Slide30PSY 340Statistics for the Social Sciences Next time • Related samples t-tests • Independent samples t-tests