Annual Professional Performance Reviews: An Overview

Slide1Annual ProfessionalPerformance Reviews - An Overview - David Rothfuss NYSUT Research & Educational Services 1

Slide2Today’s Session Will Provide…• An overview of the new teacher/principal evaluation law and regulations • Information on NYSUT’s recent settlement with the State Education Department which clarified contested portions of the evaluation process • A discussion of the three components of teacher evaluation with specific information on role, development and use of Student Learning Objectives (SLOs) • An emphasis on the 80% of the evaluation process that MUST  be collectively bargained • A forum for questions and conversation regarding the unique challenges of implementation in Special Act SDs 2

Slide3Teacher/Principal Evaluation LawSections 3012-c and 3020 of Education Law (as amended) • Annual Professional Performance Review (APPR) based on: ▫ 20% student growth on state assessments ▫ 20% locally-determined measures of student achievement ▫ 60% other measures of teacher effectiveness • 4 rating categories of teacher effectiveness (HEDI) ▫ H ighly Effective ▫ E ffective ▫ D eveloping ▫ I neffective • Teacher Improvement Plans (TIPs) for “Developing” and “Ineffective” teachers • Training for evaluators • Appeals process for evaluations • Expedited discipline process when teacher receives two consecutive annual “Ineffective” ratings 3

Slide4NYSUT APPR Lawsuit• NYSUT sued SED and the Board of Regents over portions of the regulations that conflict with the APPR legislation • The NYS Supreme Court agreed with NYSUT stating… “The theme throughout 3012-c is that except for the first 20 percent category… the remaining 8o points must be established through collective bargaining” • The Regents and SED appealed the decision • The Governor intervened and threatened to impose a new evaluation system through the Executive Budget process if the parties did not reach an agreement by February 16, 2012! 4

Slide5The Settlement• Remains based on the original law • Expressly states collective bargaining required for 80% of the process • Establishes use of Student Learning Objectives (SLOs) for non- tested subjects • Creates specific options for using the state assessments for the 20% locally-selected measures • Observations to make up 31 of the 60 points of other measures of teacher effectiveness • Requires at least two observations, one of which will be unannounced • Establishes the HEDI scoring bands • Requires APPR to be “a significant factor” in tenure determination, retention and dismissal • Creates an SED approval process for APPR plans 5

Slide6APPR Plan• Adopt by July 1, 2012 • SED to approve or reject by September 1, 2012 or  as soon as practicable • “If all of the terms of the plan have not been finalized as a result of unresolved collective bargaining negotiations, the entire plan shall be submitted…upon resolution of all of its terms.” • Plan must include information on ▫ Collection and reporting of data ▫ Assessment development, security and scoring ▫ The three components of teacher evaluation ▫ Composite score ▫ Timely and constructive feedback to teachers ▫ Training of evaluators and ensuring inter-rater reliability ▫ Appeals Process ▫ TIP Process 6

Slide7SED Approval Process• SED will implement a web-based review and approval process • Each district will need to have its plan  approved by SED by January 17, 2013 to qualify for any scheduled increase in aid • Superintendent and local president sign off indicating that the locally negotiated APPR conforms to law • Should a plan be rejected, and the rejection involves a provision requiring negotiations, it must be addressed through collective bargaining and  resubmitted • Locally-developed assessments do not need SED approval! 7

Slide8APPR & Collective BargainingThe following areas of the APPR  must be collectively bargained : ▫ Collection and reporting of data ▫ 20% locally-selected measures ▫ 60% other measures of teacher effectiveness  Rubric  Observations  Evidence collection ▫ Subcomponent scoring ▫ Teacher Improvement Plans (TIPs) ▫ Appeals process 8

Slide9Collection and Reporting of Data• APPR Plan must include a process for providing SED with Teacher/Student data on: ▫ Enrollment ▫ Attendance ▫ Any other student, teacher, school, course, and teacher/student linkage data • Plan must include an opportunity for teachers to verify subjects and student rosters assigned to them (Teacher of Record) • Individual subcomponent and total composite scores for each teacher and principal reported to SED 9

Slide10Training of Evaluators• District responsible to ensure evaluators have appropriate training • Plan must describe: ▫ Duration and nature of training ▫ Process for certification ▫ Process for ensuring inter-rater reliability ▫ Process for re-certification • Lead evaluators must be certified 10

Slide11Teacher Improvement Plans (TIPs)• “Developing” or “Ineffective” rating must result in a TIP ▫ As soon as practicable ▫ No later than ten days after the opening of classes for the school year • TIP developed locally as bargained and must, at a minimum, include: ▫ Identification of needed areas of improvement ▫ Timeline for achieving improvement ▫ Manner to assess improvement ▫ Differentiated activities to support improvement, where appropriate 11

Slide12Appeals• Plan must include information on the process for appealing an annual evaluation • Process for appeals is collectively bargained • Provides for timely and expeditious resolution • Appeals may challenge: ▫ Substance of the evaluation ▫ Adherence to standards and methodologies required in the review ▫ Adherence to regulations and compliance with locally- negotiated procedures including issuance and implementation of TIP 12

Slide13Monitoring/Consequencesfor Non-Compliance • SED will monitor patterns of evaluation results to identify schools, districts and BOCES that may need more rigorous evaluation system ▫ Low correlation results between student growth and other measures ▫ Little differentiation across educators in scoring/ratings ▫ Lack of differentiation not justified by consistent student achievement • Identified settings will be subject to: ▫ Public reporting; and/or ▫ Corrective action 13

Slide1460%Evaluation Breakdown 14

Slide1520% Student Growth• This is the only component of APPR that is not locally negotiated! • Measured in one of two ways: ▫ Grades 4-8 ELA and Math Assessments – SED will generate a student growth percentile score (SGP) OR ▫ “State-determined, district or BOCES-wide student growth goal setting process” SLOs are the state-determined process! 15

Slide1620% Student GrowthRegarding student growth on State assessments… • A growth model will be adopted first, then a Value- Added Model (VAM) by 2012-13, if available • Contract awarded to American Institutes for Research (AIR) Regarding Student Learning Objectives • SED has delegated the responsibility for the development of SLOs to school districts/BOCES • Districts/BOCES are not required to collectively bargain the establishment of SLOs that are used for the State 20 percent 16

Slide17What Are SLOs?• SLOs are carefully planned academic goals for what a student will learn over a given time period • They represent the most important learning for the year (or semester or quarter where applicable) • SLOs directly link a teacher’s classroom instruction to specific measures of student achievement or growth in the relative  content area • The process leads to objectives that can be reliably measured for student growth 17

Slide18SED’s District SLO ImplementationDecisions and Timeline Decision 1. Assess and identify district priorities and academic needs 2. Identify who will have state- provided growth measures and who must have SLOs as “comparable growth measures.” 3. Determine district rules for how specific SLOs will get set 4. Establish expectations for scoring SLOs and for determining teacher ratings for the growth component 5. Determine district-wide process for setting, reviewing, and assessing SLOs in schools Completed By:  March 1, 2012  March 1, 2012  March 1, 2012  April 16, 2012  May 31, 2012 18

Slide19Which Teachers Require SLOs?  19 Situation Requirement 1. If there is a State-provided growth measure for  at least 50% of students • SLOs  not required 2. If there is a State-provided growth measure for  less than 50% of students • State-provided growth measure and  SLOs required 3. If there is  no  State-provided growth measure for the course • Only SLOs required NYS Education Department

Slide20Which teachers are required to have SLOs?20 50-100% Students Covered by State-Provided Growth Measures These teachers will receive a Growth Score from the State –  SLOs not required! e.g., 4-8 ELA, Math, and Common Branch Teachers 0-49%  Students Covered by State-Provided Growth Measures Teachers  MUST  have SLOs! 1.  If any course/section has State- provided growth measures, at least one SLO must use it. 2.  SLOs  MUST  cover the courses taught with largest number of students, combining sections with common assessments, until a majority of students are covered. 3. If any of the largest courses have a State assessment (but do not have State-provided growth measures), the State assessment  MUST  be used as evidence in the SLO. NYS Education Department

Slide21K-2 TeachersMust have:  1 SLO for Math  1 SLO for ELA (unless teacher focuses on a single subject area)  Must use one of the following options: • State approved 3 rd  party assessment • District, regional or BOCES-developed assessment • School or BOCES-wide, group, or team results based on state assessments 21 NYS Education Department

Slide22Grade 3 TeachersMust have:  1 SLO for Math  1 SLO for ELA  (unless teacher focuses  on single subject area)  Must use 3 rd  grade State assessment (ELA and math) 22 4-8 Common Branch, ELA & Math Teachers  Has a State-provided growth measure  SLOs not required NYS Education Department

Slide234-8 Science & SS TeachersMust have:  SLO for each subject/ assessment (SLOs must cover classes with largest number of students until a majority of students are covered)  4 & 8 science must use State assessment as evidence  Grades 6-7 science and 6-8 social studies use one of the following options as evidence: • State approved 3 rd party assessments • District, regional or BOCES developed assessments 23 NYS Education Department

Slide244-8 Other Subject TeachersMust have:  SLO for each subject/ assessment (SLOs must cover classes with largest number of students until a majority of students are covered)  Must use one of the following as evidence: • State approved 3rd party assessments • District, regional or BOCES developed assessments • School or BOCES-wide, group, or team results based on state assessments 24 NYS Education Department

Slide259-12 Regents TeachersMust have:  1 SLO for each subject/ assessment (SLOs must cover classes with largest number of students until a majority of students are covered)  Must use State assessment or Regents exam (or Regents equivalent) as evidence 25 NYS Education Department

Slide269-12 Other TeachersMust have:  1 SLO for each subject/ assessment (SLOs must cover classes with largest number of students until a majority of students are covered)  Must use one of the following as evidence: • State approved 3rd party assessments • District, regional or BOCES developed assessments • School or BOCES-wide, group, or team results based on State assessments 26 NYS Education Department

Slide27Self-Contained Teachers(ESL/Bilingual, Students with Disabilities)  If less than 50%  of students are covered by State growth measure: (unless teacher focuses on a single subject area) • 1 SLO for ELA • 1 SLO for math  Must use State assessment as evidence if available  If not, must use one of the following as evidence: • State approved 3rd party assessments • District, regional or BOCES developed assessments • School or BOCES-wide, group, or team results based on state assessments 27 NYS Education Department

Slide28Self-Contained Teachers(ESL/Bilingual, Students with Disabilities)  If more than 50% of students are covered by State growth measure:  SLOs are not required 28 NYS Education Department

Slide29Push-In, Pull-Out Teachers/Resource Teachers(AIS, SWD, ESL, etc.) Must have:  1 SLO for subject area focus • Consider group/team growth on State Assessment • Collaborative goal setting with classroom teachers  Must use State assessment as evidence if available  If not, must use one of the following as evidence: • State approved 3rd party assessments • District, regional or BOCES developed assessments • School or BOCES-wide, group, or team results based on state assessments 29 NYS Education Department

Slide30Co-TeachersIf district cannot track multiple teachers of record,  Common Branch Teachers: • 1 SLO for ELA • 1 SLO for Math  Other subject area teachers: • SLO for subject area focus  Must use State assessment as evidence, if available  If not, must use one of the following as evidence: • State approved 3rd party assessments • District, regional or BOCES developed assessments • School or BOCES-wide, group, or team results based on state assessments 30 NYS Education Department

Slide31New York State English as a Second LanguageAchievement Test (NYSESLAT) Teachers If less than 50% of students take State ELA:  1 SLO for ELA  1 SLO using NYSESLAT (as applicable)  Must use: • ELA State assessment as evidence where applicable • NYSESLAT as evidence 31 NYS Education Department

Slide32New York State Alternate Assessment(NYSAA) Teachers If less than 50% of students take State assessment:  1 SLO using NYSAA  Additional SLOs based on subject area taught  Must use NYSAA performance assessment as evidence  Additional evidence based on subject areas taught (i.e., ELA, math, Regents) 32 NYS Education Department

Slide33NYSED SLO Components33 All SLOs MUST include the following basic components: Student Population Which students are being addressed? Learning Content What is being taught? CCSS/National/State standards?  Will this goal apply to all standards applicable to a course or just to specific priority standards? Interval of Instructional Time What is the instructional period covered (if not a year, rationale for semester/quarter/etc)? Evidence What assessment(s) or student work product(s) will be used to measure this goal? Baseline What is the starting level of learning for students covered by this SLO? Target(s) What is the expected outcome (target) by the end of the instructional period? HEDI Criteria How will evaluators determine what range of student performance “meets” the goal (effective) versus “well-below” (ineffective) , “below” (developing), and “well-above” (highly effective)? Rationale Why choose this learning content, evidence and target?

Slide34Student Population• The student population must be defined. If there are multiple sections each must be included. • Student names and/or identification numbers must be included. Guiding Questions : • Within and across classes, how many and what types of identifiable subgroups exist? • How will instruction be differentiated to meet specific student learning needs? 34

Slide35Learning Content• Identify the course name and source of standards (NYS Learning Standards, Common Core, national, local) associated with this SLO. • Specify the exact standards, performance indicators, etc., that will be taught, learned, and assessed. Guiding Questions : • To what extent is the content central to this and future coursework, as well as college and career readiness? • What instructional approaches are needed to achieve the identified goal for all students in mastering these standards? 35

Slide36Interval of Instructional Time• Indicates a clear start and end date. • Provides a rationale if the interval is less than one year (e.g., course length is less than one year). Guiding Question : • Is the course a semester, quarter, or year long course? 36

Slide37Evidence• Identify the specific pre-assessment(s) and summative assessment(s) that will be used for providing baseline and summative data for the SLO. • Districts and BOCES must verify comparability and rigor for any assessments they develop. • Pre-assessments for entering students are to be given throughout the year. Guiding Questions : • Are you using the same assessment as the pre- and summative assessment? • How will you measure progress? • To what extent are the measures aligned to the learning content? 37

Slide38Baseline• Describe how students performed on the identified pre-assessment(s) for the learning content. (Actual baseline scores for each student are required.) Guiding Questions : • In addition to the pre-assessment(s), what other data sources were reviewed to confirm student learning needs? • Within and across classes, what are students’ current skill and knowledge levels which may impact the target and the learning content? 38

Slide39Target(s)• Define numerical growth goals for student performance on identified summative assessment(s). Guiding Questions: • Is the target rigorous enough to ensure that all students will achieve college and career readiness? • Does the target align with school and district goals and expectations? • Will the targets for this population prepare students for success in future progressions (next grade level or level of study) of the same content? • Is the current knowledge and skill of the targeted students informing the target? • What professional development, resources, and/or supports are required to meet the target? 39

Slide40HEDI• Provide specific descriptions of student learning for each rating category, aligned with the narrative description. • Highly effective = exceeds district expectations • Effective = meets district expectations • Developing = is below district expectations • Ineffective = is well below district expectations Guiding Questions : • Are the points/percentages defined for each category? • Is it mathematically possible for the teacher to obtain every point value within a rating category? • Are points clearly and objectively allocated within a HEDI rating category? • Is it clear how the student’s performance will determine how the teacher will be rated? 40

Slide41Rationale• This describes the reasoning behind the choices regarding learning content, evidence, and target. Guiding Questions : • How sufficient is the overall objective for increasing student achievement, and preparing students for future learning, as well as college and career readiness? • What are the implications of these elements for the teacher in the planning and delivery of instruction, so that the targets are attained by all students? • Is there alignment between the elements of the SLO (are the assessments aligned with the goals and the learning content)? 41

Slide4220% Locally-Selected Measures ofStudent Achievement Measures may include one or more of the following: • State assessments (options provided by SED) ▫ Must  be different from growth component! • Commercially-developed student assessments approved by SED [ http://usny.nysed.gov/rttt/teachers- leaders/assessments/ ] • District, regional or BOCES-developed assessment • School-wide, group or team metric • District-wide student growth goal-setting process (ie: SLO) to be used with approved student assessment or teacher-created assessments ▫ Must  be different from growth component! 42

Slide4320% Locally-Selected Measures• District, regional or BOCES-developed assessment or SLO must be rigorous and comparable across classrooms ▫ Rigorous  means the measure is aligned with NYS Learning Standards ▫ Comparable  means the same measure is used across subject and/or grade levels • Superintendent certifies that the measure is rigorous and comparable • Does not require SED approval! 43

Slide4420% Locally-Selected Measures• Use multiple measures of student achievement to balance the component of the evaluation based on student growth • Review your current practices ▫ What assessments are already being used? ▫ How are they administered? ▫ Is the superintendent likely to certify the assessment as rigorous and comparable? • Local measures can include: ▫ Performance-based measures ▫ Portfolios ▫ Projects ▫ Teacher-developed assessments 44

Slide4560% Teacher Practice• Measures must be aligned with the NYS Teaching Standards • District and local select an approved Rubric or apply for a variance • Process for observation ▫ Require training, certification and re-certification of evaluators ▫ Ensure only certified evaluators will do observations • Standards not addressed through observation must be assessed annually (but not all elements or performance indicators) • Other measures – Evidence Collection ▫ Evidence of student development and performance ▫ Evidence the teacher develops effective relationships ▫ Evidence the teacher sets professional growth goals 45

Slide4660% Teacher Practice continued… • Student development and performance -  How? ▫ Structured reviews of student work and/or ▫ Artifacts of teacher practice using portfolios or evidence binder processes • Effective relationships with students, parents, caregivers and relevant stakeholders to maximize student growth, development and learning –  How? ▫ Feedback from students and/or parents using state- approved survey tools • Teacher-set professional growth goals and continuous professional growth –  How? ▫ Teacher self-reflections ▫ Teacher progress on professional growth goals 46

Slide47Rubricsfor Teacher Practice (60%) • Aligned with NYS Teaching Standards ▫ Knowledge of each student and demonstrates knowledge of student development and learning to promote achievement for all students ▫ Knows content and plans instruction ▫ Instruction engages and challenges learners ▫ Creates a dynamic learning environment ▫ Multiple measures to assess and document student growth, evaluate instructional effectiveness and modify instruction ▫ Demonstrate professional responsibility and engages stakeholders ▫ Sets goals and strives for continuous professional development 47

Slide48Rubrics for 60% continued… • Rubric must meet criteria ▫ Cover the teaching standards ▫ Grounded in research about teacher practice ▫ Have four rating categories ▫ Define the expectations for each category ▫ Rely on observable or measurable behavior ▫ Use clear and precise language understood by teachers and administrators ▫ Designed to assess classroom effectiveness ▫ Describe training needed for effective use ▫ Apply to all grades and subjects • Classroom observations ▫ Determines at least 31 of the 60 points ▫ At least two observations, with one as an unannounced observation, required ▫ Can occur in-person or by video ▫ Some points may be based on observations by trained independent evaluators or in-school peer teachers 48

Slide49Approved RubricsThe NYSUT-developed Rubric is one of ten approved by SED and only one aligned with NY State Teaching Standards! • NYSUT Teacher Practice Rubric (NYSUT) – developed by the Innovation Initiative • Danielson’s Framework for Teaching (ASCD) • Danielson’s Framework for Teaching 2011 Revised Edition (Teachscape) • Marzano’s Casual Teacher Evaluation Model (Learning Sciences International) • NYSTCE Frameworks for the Observation of Effective Teaching (NCS Pearson Inc.) • CLASS • Marshall’s Teacher Evaluation Rubric • Marzano’s Teacher Practice Rubric • Thoughtful Classroom Teacher Effectiveness Framework • Teaching & Learning Framework [http://usny.nysed.gov/rttt/teachers-leaders/practicerubrics/] 49

Slide50SLOs and Teaching StandardsStudent Population • Standard 1: Knowledge of Students • 1.3 b Plans for student strengths, interest and experiences • 1.3a  Meets diverse learning needs of each student • 1.1b  Creates developmentally appropriate lessons Learning Content • Standard 2: Knowledge of Content and Instructional Planning • 2.1a Understands key concepts and themes in the discipline • 2.1b Understand key disciplinary language • 2.1d Understands learning standards • 2.3a Designs instruction to meet diverse learning needs of students • 2.4a and 3.1a Aligns learning standards • 2.4b Articulates learning objectives/goals with learning standards Target •  Standard 3: Instructional Practice • 3.3c Implements challenging learning experiences • 3.4a Differentiate instruction • 3.4c Implements strategies for mastery of learning outcomes •  Standard 4: Learning Environment • 4.2b Establishes high expectations for achievement • 4.4.c Establishes instructional groups 50

Slide51SLOs and Teaching StandardsBaseline • Standard 5: Assessment • 5.2a Analyzes assessment data • 5.1b Measures and records student achievement • 5.3a Accesses and interprets assessments • 5.4a Understands assessment measures and grading procedures Evidence • Standard 5: Assessment • 5.1a Uses assessments to establish learning goals and inform instruction • 5.1c Aligns assessments to learning goals • 5.1d Implements testing accommodations • 5.2b Uses assessment data to set goals • 5.4b Establishes an assessment system HEDI Criteria • Standard 3: Instructional Practice • 3.3a Establishes high expectations • 3.3b Articulates measures of success 51

Slide52Scoring Rangesfor Composite Score • 91-100 points reflect a  “ Highly Effective ”  score • 75-90 points reflect an  “ Effective ”  score • 65-74 reflect a  “ Developing ”  score • 0-64 points reflect an  “ Ineffective ”  score 52

Slide53Scoring Rangesfor Student Growth (20%) • 18-20 points if results are  well above  state average ▫ “Highly Effective” • 9-17 points if results  meet  state average ▫ “Effective” • 3-8 points if results are  below  the state average ▫ “Developing” • 0-2 points if results are  well below  the state average ▫ “Ineffective” 53

Slide54Scoring Rangesfor Local Measures (20%) • 18-20 points if results are  well above  district- adopted expectations ▫ “Highly Effective” • 9-17 points if results  meet  district expectations ▫ “Effective” • 3-8 points if results  below  district expectations ▫ “Developing” • 0-2 points if results  well below  district expectations ▫ “Ineffective” 54

Slide55Scoring Rangesfor Teacher Practice (60%) • Scoring ranges set locally ▫ “Highly Effective” if performance and results exceed  NYS Teaching Standards ▫ “Effective” if performance and results  meet NYS Teaching Standards ▫ “Developing” if performance and results  need improvement  to meet NYS Teaching Standards ▫ “Ineffective” if performance and results  do not meet  NYS Teaching Standards 55

Slide56Thank you for yourparticipation! drothfus@nysutmail.org 56