Using t-tests with Independent Samples in Statistics for Social Sciences

Slide1Using t-tests (independent samples)Statistics for the Social Sciences Psychology 340 Spring 2010

Slide2PSY 340Statistics for the Social Sciences Statistical analysis follows design • The  one-sample  t-test can be used when: – 1 sample – One score per subject – Population mean ( μ ) is known – but Population standard deviation ( σ ) is  NOT  known

Slide3PSY 340Statistics for the Social Sciences Independent samples • What are we doing when we test the hypotheses? – Consider a new variation of our memory experiment example Memory treatment Memory patients Memory Test   •    the memory treatment sample are the same as those in the population of memory patients. •    they aren’t the same as those in the population of memory patients H 0 : H A : Memory placebo Memory Test Compare these two means

Slide4PSY 340Statistics for the Social Sciences Statistical analysis follows design • The  independent samples t-test  can be used when: – 2 samples – Samples are independent

Slide5PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic One-sample t Independent-samples t Observed (sample) means

Slide6PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic One-sample t Independent-samples t Hypothesized population means •   from the Null hypothesis

Slide7PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic One-sample t Independent-samples t Hypothesized population means •   from the Null hypothesis H 0 : Memory performance by the treatment group is equal to memory performance by the no treatment group. So :

Slide8PSY 340Statistics for the Social Sciences Performing your statistical test Test statistic One-sample t Estimated standard error (difference expected by chance) estimate is based on one sample We have two samples, so the estimate is based on two samples The Estimate of the Standard Error is based on the variability of both samples

Slide9PSY 340Statistics for the Social Sciences Performing your statistical test “pooled variance” We combine the variance from the two samples Number of subjects in group A Number of subjects in group B

Slide10PSY 340Statistics for the Social Sciences variance Performing your statistical test “pooled variance” We combine the variance from the two samples Recall “ weighted means ,” need to use “ weighted variances ” here Variance (s 2 ) * degrees of freedom ( df )

Slide11PSY 340Statistics for the Social Sciences Performing your statistical test Independent-samples t • Compute your estimated standard error • Compute your t-statistic • Compute your degrees of freedom This is the one you use to look up your t crit

Slide12PSY 340Statistics for the Social Sciences Performing your statistical test   Exp.  group Control group         45 55 40 60 43 49 35 51 Need to compute the mean and variability for each sample Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any, it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use α = 0.05.

Slide13PSY 340Statistics for the Social Sciences Performing your statistical test   Exp.  group Control group         45 55 40 60 43 49 35 51 Need to compute the mean and variability for each sample Control group = 50 (45-50) 2  + (55-50) 2  + (40-50) 2  + (60-50) 2 = 250 SS = A Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any, it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use α = 0.05.

Slide14PSY 340Statistics for the Social Sciences Performing your statistical test Exp. group (43-44.5) 2  + (49- 44.5) 2  + (35- 44.5) 2  + (51- 44.5) 2 = 155 SS = B   Exp.  group Control group         45 55 40 60 43 49 35 51 Need to compute the mean and variability for each sample Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any, it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use α = 0.05. = 44.5

Slide15PSY 340Statistics for the Social Sciences Performing your statistical test   Exp.  group Control group         45 55 40 60 43 49 35 51 Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any, it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use α = 0.05. = 0.95

Slide16PSY 340Statistics for the Social Sciences Performing your statistical test T obs = 0.95 T crit =   ±2.447 α = 0.05 Two-tailed   Exp.  group Control group         45 55 40 60 43 49 35 51 Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any , it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use  α = 0.05 . = 0.95

Slide17PSY 340Statistics for the Social Sciences Performing your statistical test T obs = 0.95 α = 0.05 Two-tailed T crit =   ±2.447   Exp.  group Control group         45 55 40 60 43 49 35 51 Dr. Mnemonic develops a new treatment for patients with a memory disorder.  He isn’t certain what impact, if any, it will have. To test it he randomly assigns 8 patients to one of two samples. He then gives one sample the new treatment but not the other.  Following the treatment period he gives both groups a memory test.  The data are presented below. Use α = 0.05. + 2.45 = t crit - Fail to Reject H 0 t obs =0.95 = 0.95

Slide18PSY 340Statistics for the Social Sciences Assumptions:  Independent samples t • Each of the population distributions follows a normal curve (this is an assumption of all t-tests) – T-tests are fairly ‘robust’ against this assumption • This means that the results generally still hold even if this assumption is violated • Homogeneity of variance : The two populations have the same variance – SPSS tests this using Levene’s Test • Two rows in the SPSS output – Us the top row if the p-value for the Levene’s test is greater than 0.05 – Use the bottom row if the p-value for the Levene’s test is less than 0.05 • Tests the Null hypothesis that the two groups have equal variances

Slide19PSY 340Statistics for the Social Sciences Effect Size for the  t  Test for Independent Means • Estimated effect size after a completed study “pooled standard deviation” not “pooled variance,” so take the square root of s P 2

Slide20PSY 340Statistics for the Social Sciences Power for the  t  Test for Independent Means  (.05 significance level) 8-4 8-5

Slide21PSY 340Statistics for the Social Sciences Approximate Sample Size Needed for 80% Power    (.05 significance level) 8-5

Slide22PSY 340Statistics for the Social Sciences Statistical Tests Summary Design Statistical test (Estimated) Standard error One sample,  σ known One sample,  σ unknown Two related samples,  σ unknown Two independent samples,  σ unknown             Next time

Slide23PSY 340Statistics for the Social Sciences Using SPSS:  Independent samples t • Entering the data – Different groups of observations go into SAME column • e.g., Exp grp and control grp in a single column Person Cntrl-grp Exp-grp 1 2 3 4 45 55 40 60 43 49 35 51 • Performing the analysis – Analyze -> Compare means -> independent samples t-test – Identify which columns have the observations (test variable) and which column has the group membership defined (grouping variable) – Define groups: what numbers correspond to the two groups? • Reading the output – Means of the different groups, the mean difference, the computed-t, degrees of freedom, p-value (Sig.), Levene’s test – Separate column defines the group membership for each observation – e.g., exp grp = 0, control grp = 1