Non-Experimental, Developmental and Small N Designs in Psychology

Slide1Non-Experimental designs:Developmental designs & Small-N designs Psych 231: Research Methods in Psychology

Slide2Announcements No labs this week; work on group project data  Journal Summary 2 due in lecture Wed  Please write your GA’s name on the checklist  No names, SSN only

Slide3Developmental designs Non-experimental or quasi-experimental  Used to study changes in behavior that occur as a function of age changes

Slide4Developmental designs Age serves as a quasi-independent variable  Three major types – Cross-sectional – Longitudinal – Cohort-sequential

Slide5Developmental designs Cross-sectional design – Study groups of individuals of different ages at the same time – Group means are then compared

Slide6Developmental designs Cross-sectional design – Groups are pre-defined on the basis of a pre-existing variable – Use age to assign participants to group – Age is subject variable treated as a between-subjects variable

Slide7Developmental designs Cross-sectional design – Advantages: • Can gather data about different groups (i.e., ages) at the same time • Participants are not required to commit for an extended period of time

Slide8Developmental designs Cross-sectional design – Disadvantages: • Individuals are not followed over time • Cohort (or generation) effect: individuals of different ages may be inherently different due to factors in the environment • Example: are 5 year old different from 13 year olds just because of age, or can factors present in their environment contribute to the differences? • Cannot infer causality due to lack of control

Slide9Developmental designs Longitudinal design – Follow the same individual or group over time – Repeated measurements over extended period of time – Age is treated as a within-subjects variable – Changes in dependent variable reflect changes due to aging process

Slide10Developmental designs Longitudinal design – Rather than comparing groups, the same individuals are compared to themselves at different times – Changes in performance are compared on an individual basis and overall

Slide11Developmental designs Longitudinal design – Advantages: • Can see developmental changes clearly • Avoid some cohort effects (participants are all from same generation, so changes are more likely to be due to aging) • Can measure differences within individuals

Slide12Developmental designs Longitudinal design – Disadvantages • Can be very time-consuming • Can have cross-generational effects: – Conclusions based on members of one generation may not apply to other generations – Example: are individuals who grew up during WWII the same or different from individuals who grew up after?

Slide13Developmental designs Longitudinal design – Disadvantages • Numerous threats to internal validity: – Attrition/mortality – History – Practice effects » Improved performance over multiple tests may be due to practice taking the test – Absence of control • Cannot determine causality

Slide14Developmental designs Cohort-sequential design – Combines elements of cross-sectional and longitudinal designs – Addresses some of the concerns raised by other designs – For example, allows to evaluate the contribution of generation effects

Slide15Developmental designs Cohort-sequential design – Measure groups of participants as they age – Example: measure a group of 5 year olds, then the same group 5 years later, as well as another group of 5 year olds – Age is both between and within subjects variable

Slide16Developmental designs Cohort-sequential design – Advantages: • Can measure generation effect • Less time-consuming than longitudinal – Disadvantages: • Still time-consuming • Still cannot make causal claims

Slide17Small N designs What are they? – Historically, these were the typical kind of design used until 1920’s when there was a shift to using larger sample sizes – Even today, in some sub-areas, using small N designs is common place • (e.g., psychophysics, clinical settings, expertise, etc.)

Slide18Small N designs One or a few participants  Data are not analyzed statistically; rather rely on visual interpretation of the data  Observations begin in the absence of treatment (BASELINE)  Then treatment is implemented and changes in frequency, magnitude, or intensity of behavior are recorded

Slide19Small N designs Baseline experiments –  the basic idea is to show: 1. when the IV occurs, you get the effect 2. when the IV doesn’t occur, you don’t get the effect (reversibility)  Before introducing treatment (IV), baseline needs to be stable  Measure level and trend

Slide20Small N designs Level – how frequent (how intense) is behavior? – Are all the data points high or low?  Trend – does behavior seem to increase (or decrease) – Are data points “flat” or on a slope?

Slide21ABA design ABA design (baseline, treatment, baseline) –   The  reversibility  is necessary, otherwise something else may have caused the effect other than the IV (e.g., history, maturation, etc.)

Slide22Small N designs Advantages – Focus on individual performance, not fooled by group averaging effects – Focus is on big effects (small effects typically can’t be seen without using large groups) – Avoid some ethical problems – e.g., with non- treatments – Allows to look at unusual (and rare) types of subjects (e.g., case studies of amnesics, experts vs. novices) – Often used to supplement large N studies, with more observations on fewer subjects

Slide23Small N designs Disadvantages – Effects may be small relative to variability of situation so NEED more observation – Some effects are by definition between subjects • Treatment leads to a lasting change, so you don’t get reversals – Difficult to determine how generalizable the effects are

Slide24Small N designs Some researchers have argued that Small N designs are the best way to go.  The goal of psychology is to describe behavior of an individual  Looking at data collapsed over groups “looks” in the wrong place  Need to look at the data at the level of the individual

Slide25Next time Statistics (Chapter 14)  Journal summary due Wed in lecture  Put your SSN on checklist & the name of your GA  No labs this week