Силата на избора на учители за подобряване на образованието

учител_ученик002_16x9

Резюме





Този доклад описва констатациите от ново проучване на процеса на подбор на учители в държавните училища във Вашингтон, окръг Колумбия. През 2009 г. окръгът създаде централизиран процес на кандидатстване, за да рационализира наемането на работа, като отсече по-малко желаните кандидати. След събиране на стандартна информация, кандидатите се приканват да попълнят до три допълнителни задълбочени оценки: (1) специфична писмена оценка по предмет, за да се оцени тяхното разбиране на съдържанието и практиките на обучение; (2) 30-минутно структурирано интервю с дистрикт персонал; и (3) преподавателско прослушване, наблюдавано и оценено от дистриктния персонал.



Откриваме, че всяка една от тези мерки – заедно с няколко по-традиционни индикатора за академични постижения (например среден успех на бакалавърската степен) – силно предсказва представянето на индивида в системата за оценка на учителите в района. Всъщност кандидатите в горния квартил на качеството на кандидатите оценяват с 0,6 стандартни отклонения над кандидатите в долния квартил, разлика, която е еквивалентна на подобрението, което средният учител прави между първата и третата си година на работа. Тези резултати предполагат, че подобряването на избора на учители може да бъде сравнително евтин начин за подобряване на учителската работна сила.



В същото време установяваме, че все още има значителни възможности за подобряване на подбора на учители в областта. Много кандидати, които не са били наети, са имали резултати от кандидатстване, надвишаващи средните за тези, които са били наети. И само 30 процента от най-добрите кандидати в крайна сметка работят в областта. Заключаваме, че наличието на сложна система за приложение не е достатъчно. Дистриктите също трябва да обърнат специално внимание на начина, по който директорите имат достъп и използват информацията, генерирана от системата.




Най-доброто средство за подобряване на училищната система е подобряването на нейните учители. Едно от най-ефективните средства за подобряване на учителския корпус е чрез мъдър подбор.



- Ървин Юджийн Луис, началник на училищата, Флинт, Мичиган, 1925 г.



През последните две десетилетия изследователите потвърдиха това, в което много деца и родители винаги са вярвали – индивидуалният учител в класната стая е ключът към успешното образование. Изследванията са документирали огромната разлика в ученето на учениците между класните стаи с ефективен учител и тези с неефективен. По-интересното е, че проучванията показват, че най-често срещаните мерки за качество – например сертифициране, висши степени и дълъг стаж – са слаби предсказатели за това кои учители са най-ефективни.

Политиците отговориха на тези констатации, като фокусираха образователната реформа върху ефективността на учителите. Повечето държави са наложили изчерпателни нови системи за оценка на учителите, които се опитват да оценят приноса на учителя към обучението на учениците. И много области сега използват резултатите от подобни оценки, за да уволнят учители с лоши резултати и да признаят учители за пример.



Въпреки че има някои доказателства, че новите системи за оценяване са подобрили качеството на преподаване в някои области, [i] те също са изправени пред значителни препятствия. Критиците твърдят, че много от оценките не са особено надеждни и дори могат систематично да надценяват или подценяват ефективността на учителя в зависимост от калибъра на учениците в неговия или нейния клас. И накрая, дори когато се прилагат по обмислен и отговорен начин, оценките на учителите могат да бъдат доста скъпи.



Друг популярен начин за подобряване на обучението е чрез професионално развитие. За съжаление, се оказа много трудно да се прилагат ефективни програми за професионално развитие в мащаб. [ii] Същото може да се каже и за предучилищното образование на учителите. [iii]

Но има един подход, който не е получил много внимание от изследователската или политическата общност – а именно подобряване на първоначалното наемане на учители. Тази идея не е нова, както личи от епиграфа по-горе. Всеобхватното убеждение, че има постоянен недостиг на учители, може да обясни защо този подход толкова често се пренебрегва. Ако има малко кандидати, от които да избирате, няма нужда да се притеснявате кой кандидат ще бъде избран. Но, противно на това общоприето мнение, много области имат изобилие от сертифицирани кандидати в много области. [iv]



Друга потенциална причина този подход да не е получил много внимание е, че наемането на учители е силно децентрализирано, като училищата и директорите създават свои собствени идиосинкратични политики. Липсата на единна централизирана система затруднява не само събирането на данни за характеристиките на кандидата, но и определянето кои характеристики трябва да бъдат изследвани.



Подобряването на подбора има потенциал да подобри учителската работна сила на относително ниска цена. Той не само заобикаля политическите и финансовите разходи за уволнение на лошо представящи се учители, но също така намалява излагането на учениците на неефективно обучение. И докато събирането на данни за ефективността на учителите може да бъде доста скъпо и често води до трудни трудови преговори, училищата и училищните райони имат значителна свобода да изискват от кандидатите да представят информация като част от процеса на наемане.

В наскоро публикувано проучване, моите колеги и аз разгледахме процеса на подбор на учители в държавните училища на окръг Колумбия (наричан по-долу DCPS), за да научим как могат да се използват различни мерки за подобряване на наемането на учители. [v] В освежаващо отклонение от много изследвания относно реформата в образованието, ние откриваме, че DCPS е постигнал значителен успех в идентифицирането и наемането на ефективни учители. По-конкретно, ние откриваме, че няколко относително евтини подхода за скрининг на кандидати, прилагани от дистрикта, силно предвиждат представянето на учителите в класната стая. Всъщност ние заключаваме, че директорите на DCPS трябва да използват наличните мерки за качество на кандидатите дори повече, отколкото в момента. В по-широк план опитът на DCPS подчертава потенциалните ползи, които другите райони могат да реализират чрез разработване на цялостен, насочен към изследвания и обмислен подход към наемането на учители.



Избор на учител в DCPS

През 2009 г. DCPS създаде централизиран процес на кандидатстване за рационализиране на наемането, като отсече по-малко желаните кандидати и даде на директорите списък с препоръчани кандидати. Въз основа на подобна работа, която направихме с учителите в държавните училища в Ню Йорк, [ние] Служителите на DCPS ни помолиха да им помогнем да разработят и оценят различни оценки на кандидатите. Целта беше да се намерят мерки, които са едновременно осъществими за администриране и способни да предскажат кои кандидати ще бъдат най-успешни като учители в класната стая. През следващите няколко години областта разработва и усъвършенства различни мерки. През този период приблизително половината от новите наети са преминали през този централизиран процес на подбор на TeachDC. Останалите нови служители са въведени чрез алтернативни маршрути за сертифициране, като Teach for America, DC Teaching Fellows, или са били наети директно от директор.



TeachDC има онлайн система за кандидатстване, която събира основна информация, като история на образованието на кандидатите, трудов опит и допустимост за лицензиране. [идваш ли] След събиране на тази предварителна информация от кандидатите се изисква да попълнят до три допълнителни задълбочени оценки. [viii] Първо, кандидатите полагат специфична писмена оценка, за да оценят знанията си по съдържанието на предмета и свързаните с тях учебни практики. Служителите на дистрикта оценяват тези писмени оценки и кандидатите, които издържат, след това са поканени на 30-минутно структурирано интервю, обхващащо области като техния опит в успеха и как реагират на предизвикателствата. Интервютата също се оценяват и кандидатите, които преминават, са поканени на последен етап на прослушване, където служителите на DCPS ги наблюдават как преподават урок от приблизително 30 минути. Областните служители оценяват тези уроци със същата рубрика за наблюдение в класната стая, използвана за оценка на настоящите учители от DCPS.

Този процес е доста избирателен, като всяка година се наемат само 13-14 процента от кандидатите. Дори сред набора от кандидати, които преминават през целия процес и са включени в препоръчителния списък, само 50 процента са наети. Докато някои учители отказаха позиции, които им бяха предложени, съотношението на кандидатите към позициите в DCPS означава, че районът може да бъде доста избирателен (въпреки че това варира в зависимост от областта на съдържанието).

Мерките за кандидатстване предвиждат ли наемане в областта?

Анализирахме кои кандидати са били наети сред над 7000 лица, кандидатствали чрез TeachDC през годините 2011-2013. Разгледахме основни характеристики (например предишен опит) и комбинирани резултати за представяне на кандидата при оценката на знанията за съдържанието, интервюто и прослушването. [ix]

Може би изненадващо открихме, че кандидатите с по-добри академични квалификации не е по-вероятно да бъдат наети, отколкото други кандидати. Например, нито SAT/ACT резултатът на кандидата, нито нейният среден успех в бакалавърската степен не са свързани с вероятността да бъде нает. Важно е, че това не е просто функция на по-квалифицирани кандидати, които преминават през DCPS, за да поемат работа в по-богат район. Учителите, които са посещавали по-селективни колежи, е по-вероятно да бъдат наети, но тази връзка е изключително малка – т.е. придвижването с една стъпка нагоре в ранга на Барън по селективност на колежите е свързано само с 1 процентен пункт увеличение на вероятността да бъдат наети. Освен това, ако се съсредоточим само върху онези кандидати, които са достигнали препоръчания пул, откриваме, че кандидатите с по-високи оценки и резултати от тестове е по-малко вероятно да получат позиция.

Какво може да обясни тези резултати? Изглежда малко вероятно директорите да нямат добра информация за тези характеристики, тъй като от всички кандидати се изисква да представят автобиография в допълнение към предоставянето на тази информация в самото заявление. Една от възможностите е директорите просто да не придават голяма тежест на академичното представяне на кандидата, защото смятат, че други лични качества са по-важни за определяне на ефективността на учителя. Всъщност нашите резултати тук са в съответствие с някои от предходните констатации, че директорите не ценят високо традиционните мерки за академичен успех. [х]

Моделът е много по-различен, когато разглеждаме резултатите на кандидатите за оценките на знанията по съдържанието, интервюто и прослушването за преподаватели. По-високите резултати по тези мерки силно предвиждат наемане. [xi] Кандидатите, които са постигнали 83-ия процентил от изпита за познаване на съдържанието, са с приблизително 40 процента по-вероятно да бъдат наети като кандидати, които са отбелязали 50-ия процентил. Кандидатите, които са отбелязали 83-ия персентил от прослушването, са повече от два пъти по-склонни да бъдат наети в сравнение с кандидатите, отбелязали 50-ия персентил. Заедно тези резултати предполагат, че директорите ценят оценките, базирани на представянето, повече от академичните пълномощия.

Мерките за кандидатстване предвиждат ли изпълнението на работата?

Измерваме представянето на учителите, използвайки системата за оценка на учителите на дистрикта (IMPACT), която оценява всеки учител в дистрикта всяка година въз основа на редица мерки, включително наблюдение в класната стая, оценка на директора и постижения на учениците. Това е система с високи залози. Учителите получават единичен резултат IMPACT и след това получават една от петте оценки въз основа на този резултат: неефективен, минимално ефективен, развиващ се, ефективен и високо ефективен. Учителите от категорията неефективни се освобождават незабавно. Учителите също се освобождават, ако попадат в категорията с минимална ефективност (или по-ниска) за две последователни години. От друга страна, учителите, отбелязали точки в категорията с висока ефективност, получават еднократен бонус от цели 25 000 долара. Ако учител е оценен като високоефективен за две последователни години, той може да получи значително постоянно увеличение на заплатата.

Установихме, че редица мерки, събрани като част от процеса на кандидатстване, са положително свързани с представянето в класната стая. [xii] Приложение Таблица A (PDF, виж страница 6) представя коефициентите на регресия за пълния набор от мерки за подбор. По-долу обобщавам някои от основните констатации.

Кандидатите с по-висок GPA и тези от по-селективни колежи се представят систематично по-добре в класната стая от иначе идентичните кандидати, дори след като са отчетени другите резултати от кандидатите. Това предполага, че директорите може да искат да придадат повече тежест на тези характеристики, отколкото са имали в миналото.

Освен това откриваме, че резултатите от знанията за съдържанието, интервютата и прослушването са силни, положителни предиктори за представянето на учителите. Например разликата в представянето между кандидат, който е отбелязал 50-ия и 83-ия процентил на интервюто, е еквивалентна на разликата в ефективността между учител от първа и втора година. [xiii]

Но какво означават тези числа за цялостното качество на наетите учители? За да илюстрираме комбинираната мощност на различните фонови характеристики и скринингови тестове, ние изчислихме обобщена мярка за качество на кандидата. По-конкретно, за всеки кандидат, ние изчисляваме тяхната прогнозирана ефективност, използвайки цялата информация, събрана по време на процеса на подбор. Фигура 1 показва средното представяне на работното място за кандидатите, отделно от техния съставен резултат от кандидатите. Във всеки случай представянето се измерва спрямо средния учител от първа година. Кандидатите в долния квартил на качеството на кандидатите в крайна сметка имат преподавателска ефективност с почти 0,4 стандартни отклонения под средното. От друга страна, кандидатите в горния квартил показаха повече от 0,2 стандартни отклонения над средното. За да предоставим точка за сравнение, ние показваме средното представяне на учителите от втора и трета година в областта, отново в сравнение със средния учител от първа година. Учителите от втора година се представиха средно с около 0,3 стандартни отклонения по-добре от учителите от първа година. Учителите от трета година се представиха с приблизително 0,55 стандартни отклонения по-добре от учителите от първа година. Така че разликата между кандидатите в горния и долния квартил е приблизително еквивалентна на ползата от две пълни години опит. [xiv]

Фигура 1. Изпълнение в класната стая от групи учители


Фигура 1

Място за продължаване на подобряването на процеса на наемане

Нашият анализ показва, че настоящият процес на подбор на учители в DCPS е полезен при разграничаването на кандидати, които вероятно ще бъдат повече или по-малко ефективни учители. В същото време откриваме, че все още има значителни възможности за подобряване на качеството на учителите в DCPS чрез процеса на подбор. За да илюстрираме това, ние изобразяваме разпределението на прогнозираните резултати за първата година поотделно за наети и ненаети кандидати на фигура 2. Наетите учители имат значително по-висока прогнозирана ефективност от тези кандидати, които не са наети. Все пак има значително припокриване в разпределенията. Тоест има много кандидати, които не са наети, но чието прогнозирано представяне надвишава средното за наетите.

Фигура 2. Прогнозна ефективност за наети и ненаети кандидати


фигура 2

Това може да се види и чрез изследване на наетия дял като функция на прогнозирания качествен резултат. Бяха наети приблизително 10 процента от кандидатите в долната трета от прогнозираното представяне. Вероятността да бъдат наети нараства сред тези с по-високо прогнозирано качество, но само 30 процента от най-добрите кандидати (първите 5 процента) в крайна сметка работят в DCPS.

Това се дължи отчасти на факта, че след като кандидатите достигнат препоръчания пул, оценките за кандидатстване бяха много по-малко важни при определянето на кого е предложена позиция. Например на препоръчаните кандидати с високи резултати от знания за съдържание не е по-вероятно да им бъде предложена позиция, отколкото на препоръчаните кандидати с ниски резултати от знания за съдържанието. Тези резултати предполагат, че докато високите резултати по тези мерки са помогнали на кандидатите да достигнат до препоръчания списък, директорите не разчитат на тях, за да разграничат допълнително препоръчаните кандидати.

Нашите констатации служат като напомняне, че предоставянето на списък с кандидати на директорите може да не е достатъчно, за да гарантира, че най-добрите кандидати ще бъдат наети. Областите ще трябва да обърнат внимание на това как директорите имат достъп и колко добре използват тази информация. До 2013 г. например нямаше лесен начин за директорите да получат достъп до всички данни за подбор от онлайн системата. За своя заслуга, районът разпозна този проблем и предприе стъпки, за да помогне резултатите от скрининга да станат по-лесно достъпни за директорите. [xv]

Разбира се, важно е да се вземат предвид разходите, както и ползите от подобрения процес на подбор на учители. Една задълбочена система за подбор на учители води до някои допълнителни разходи, но опитът на DCPS показва, че тези разходи са доста малки в сравнение с вероятните ползи. Основният допълнителен разход на системата DCPS е трудът на администраторите, които провеждат и оценяват интервютата и преподаването на прослушванията (около един час всяко за интервюта и прослушвания) и персонала, който да наблюдава и управлява процеса. Смятаме, че общата цена на допълнителния преглед е не повече от 0 на наемане. [xvi] В сравнение с разходите за отстраняване на учители с ниски резултати, като големите градски квартали често отчитат разходите за процеса на уволнение, че са много над 100 000 долара, [xvii] този разход е доста малък. Освен това, по отношение на очакваните дългосрочни ползи за бъдещите студенти от наемането на по-ефективни учители, това несъмнено е инвестиция, която си заслужава. [xviii]

Прогнозната сила на системата за подбор на учители DCPS е окуражаваща, особено в светлината на многото скъпи и/или неуспешни начини за подобряване на учителската работна сила, които са били изпробвани до момента. Разбира се, подборът не е панацея. Вероятно ще бъде по-малко изгодно на по-малки пазари, области с труден персонал или други контексти с по-малко квалифицирани кандидати. И тези, които извършват действителното наемане, може да не оценят напълно или да използват информацията, събрана като част от процеса на подбор. Все пак областите могат да спечелят значително, като инвестират в системи за идентифициране на най-добрите възможни кандидати.


[i] Dee, T., and Wyckoff, J. (2013). Стимули, подбор и представяне на учителите: доказателства от IMPACT. Национално бюро за икономически изследвания, работен документ № 19529. Adnot, M., Dee, T., Katz, V. and Wyckoff, J. (2016). Текучество на учители, качество на учителите и постижения на учениците в DCPS. Национално бюро за икономически изследвания, работен документ № 21922.

[ii] За областта на ранното начално четене, например, вижте: Slavin, R. E., Lake, C., Chambers, B., Cheung, A. and Davis, S. (2009). Ефективни програми за четене за началните класове: Синтез на най-добрите доказателства. Преглед на образователните изследвания, 79(4): 1391-1466.

[iii] Boyd, D., Grossman, P., Lankford, H., Loeb, S. и Wyckoff, J. (2009). Подготовка на учители и постижения на учениците. Образователна оценка и анализ на политиката, 31: 416-440.

[iv] Недостигът е по-често срещан в определени области (например специално образование, двуезично образование и някои математика и природни науки) и в определени места (например селски райони).

[v] За по-пълен доклад относно това проучване вижте Jacob, B.J., Rockoff, J.E., Taylor, E.S., Lindy, B. и Rosen, R. (2016). Наемане на кандидат за учители и представяне на учителите: доказателства от държавните училища на DC. Национално бюро за икономически изследвания, работен документ № 22054. Както е отбелязано в текста, моите колеги и аз започнахме този проект като неплатени консултанти на DCPS, но констатациите в това проучване не отразяват непременно позицията на DCPS. Финансирането на това изследване е осигурено от фондация Смит Ричардсън.

[ние] Rockoff, J.E., Jacob, B.J., Kane T.J., Staiger D.O. (2011). Можете ли да разпознаете ефективен учител, когато наемете такъв? Финанси и политика на образованието. 6(1): 43-74.

[идваш ли] Кандидатите, които все още не притежават DC лиценз и чиито идентификационни данни ги правят недопустими да получат такъв преди началото на учебната година, нямат право да продължат по-нататък.

[viii] Съдържанието на процеса на кандидатстване се е променило донякъде с течение на времето, въпреки че трите ключови оценки – оценка по предмет, интервю и прослушване – винаги са съществували.

[ix] Интересното е, че докато корелациите между самите резултати от кандидатстването са положителни, всички те са доста ниски по мащаб, което предполага, че всеки аспект на приложението улавя различна информация за кандидатите. Разбира се, ниските корелации също могат да показват значително количество шум във всеки резултат.

[х] Вижте например Ballou 1996 и Hinrichs 2014. Ballou, D. (1996). Държавните училища наемат ли най-добрите кандидати? Quarterly Journal of Economics, 111(1): 97-133. Хинрихс, П. (2014). Какви учители търсят училищата? Доказателство от рандомизиран полеви експеримент. Федерална резервна банка на Кливланд, работен документ 14-36.

[xi] Увеличението с едно стандартно отклонение в резултатите от знанията за съдържанието, интервюто и прослушването се свързва с увеличение на вероятността да бъдете наети съответно с 6, 10,8 и 15,8 процентни пункта (всички спрямо изходна средна стойност от 13 процента).

[xii] Нашите резултати са стабилни, когато отчитаме подбора в областта въз основа на наемане.

[xiii] Нито една от описаните по-горе мерки за кандидатстване нямаше значителна връзка с това дали (или кога) учител е напуснал дистрикта.

изглед на живо на лунно затъмнение онлайн

[xiv] Въпреки това е вероятно областта да подобри този процес още повече. Например, кандидатите през 2011 г. завършиха оценка от 50 точки от Haberman Star Teacher Pre-Screener, търговски инструмент за скрининг на кандидати за учители, който DCPS пилотираше през същата година. Използван от редица големи градски училищни квартали в САЩ, Haberman Pre-Screener има за цел да предостави на училищните служители насоки за това колко ефективен е вероятно даден кандидат да бъде в градска класна стая. В съответствие с предишната работа в Ню Йорк, открихме силна положителна връзка между оценките на учителите от теста на Хаберман и представянето на учителите в класната стая. Дистриктът преустанови използването на Haberman след пилотната година, нашите резултати предполагат, че районът може да обмисли възстановяване на Haberman или други подобни екрани.

[xv] Например, окръгът създаде онлайн платформа, която позволява на училищните ръководители да имат лесен достъп до автобиографии на кандидати, както и информация за тяхното представяне в процеса на подбор.

[xvi] Бюджетът на дистрикта е приблизително 63 000 долара годишно за интервюта и прослушвания и само 7 500 долара за предварителен скрининг на кандидатите. Има допълнителен бюджет за персонала, който да управлява процеса на набиране и проверка, въпреки че голяма част от тези разходи биха били необходими дори без интервюта и прослушвания.

[xvii] Chait, R. (2010). Премахване на хронично неефективни учители: бариери и възможности. Център за американски прогрес.

[xviii] Chetty, R, Friedman, J.N. и Rockoff, J.E. (2014). Измерване на въздействието на учителите II: добавена стойност на учителите и резултати на учениците в зряла възраст. American Economic Review, 104(9): 2633-79.