Още констатации за училищни ваучери и резултати от тестове, и те все още са отрицателни

Резюме

Ваучерите за заплащане на учениците за посещение в частни училища продължават да привличат общественото внимание. Настоящата администрация е предложила ваучери в бюджета си и повече от половината щати работят или са предложили ваучери.



Четири скорошни строги проучвания – в окръг Колумбия, Луизиана, Индиана и Охайо – използваха различни изследователски проекти и постигнаха един и същ резултат: средно учениците, които използват ваучери за посещение в частни училища, се справят по-малко на тестове от подобни ученици, които не го правят. посещават частни училища. Проучванията в Луизиана и Индиана предлагат някои намеци, че отрицателните ефекти могат да намалеят с времето. Не е ясно дали ефектите някога ще станат положителни.

Резултатите от тестовете не са единственият резултат от образованието и някои наблюдатели ги омаловажиха, цитирайки по-стари доказателства, че ваучерните програми увеличават завършването на гимназия и посещаването на колеж. Липсват ни доказателства, че настоящото поколение ваучерни програми ще доведе до тези дългосрочни резултати. Липсват ни и доказателства за това как държавните и частните училища се различават в своите стратегии за обучение и преподаване, които биха обяснили отрицателните ефекти върху резултатите от тестовете. И двата въпроса трябва да са на първо място в дневния ред на изследванията.






Ваучерите за заплащане на учениците за посещение в частни училища продължават да привличат общественото внимание. Настоящата администрация е предложила ваучери в бюджета си и повече от половината щати работят или са предложили ваучери.

Динарски пише в този форум миналата година относно скорошни проучвания, които показаха отрицателни ефекти на ваучерите върху резултатите от тестовете в Луизиана и Индиана. Оттогава бяха пуснати нови проучвания на ваучери в DC и Охайо, а проучванията на Луизиана и Индиана публикуваха констатации от допълнителна година.



следващото пълнолуние през юни 2017 г

Четирите различни проучвания използват четири различни дизайна, но постигат един и същ резултат: средно учениците, които използват ваучери, за да посещават частни училища, се справят по-малко на тестове от подобни ученици, които не посещават частни училища. Тъй като ваучерните програми се разширяват бързо и с всяко от четирите проучвания, измерващи ефектите от ваучерите по различен начин, си струва да разопаковате малко всяко проучване, за да видите какво казват и какво не казват за ефектите от ваучерите.

Таблица 1, в приложението (моля, вижте прикачения PDF), сравнява характеристиките на четирите проучвания, включително популациите, обслужвани от програмите, размера на извадката от проучванията, теста, който проучванията са използвали като резултат, и как проучванията измерват въздействието върху тези тестове.

Фигура 1, по-долу, показва мерки за въздействие върху резултатите от теста, като се започне с четирите проучвания в горната част и след това ефектите върху резултатите от тестовете от предишни проучвания, приблизително в обратен исторически ред. Точката в средата на лентите за всяко изследване е оценката на ефекта на резултата, който е отрицателен и при двата субекта във всичките четири проучвания. Лентите са доверителни интервали за оценените ефекти — когато доверителните интервали включват нула, ефектът не е статистически значим. Под синия разделител показваме ефектите за осем предишни проучвания на ваучери. Те показват някои положителни ефекти и за двата субекта, въпреки че повечето не са статистически значими.



Фигура 1. Резултати от четири текущи проучвания на ваучери и осем предишни проучвания

CCF_20170713_MDynarski_Evidence_Speaks_1

Източник: За обсъждане и препратки вж http://www.abtassociates.com/Perspectives/March/Do-Vouchers-Lead-to-Greater-Learning-Depends-Where.aspx .



Въпросът е защо моделът на последните проучвания се различава от предишни проучвания. Както Динарски беше писал по-рано, държавните и частните училища са били подложени на различен натиск за отчетност през последните 15 години, което може да обясни някои от констатациите. Признавайки, че изследователите често призовават за повече изследвания, смятаме, че това призив е заслужено тук. Рядко се случва политическите инициативи да се разширяват пред лицето на доказателствата, че тези инициативи могат да имат отрицателен ефект върху ключовите резултати.

Програма за стипендии за възможности на окръг Колумбия

Това проучване е класически „експеримент на място“ в съответствие с разрешаващото законодателство, което изисква програмата да се изучава, като се използва „най-силният подходящ дизайн“.единУчениците, избрани да получат ваучер, можеха да посещават частни училища, които се съгласиха да приемат ваучера като плащане, което беше повече от половината от всички частни училища в областта. Студентите и семействата не са имали задължение да използват ваучера и след една година проучването съобщава, че около 30 процента от студентите всъщност не са използвали ваучерите си. Това е полезно напомняне, че предлагането на ваучер разширява възможностите за родителите, но само по себе си не изисква родителите да правят нищо.

Проучването администрира Нова земя тест по времето, когато студентите кандидатстваха за ваучери (обикновено пролетта или началото на лятото) и отново около година по-късно. Той също така събра други данни за ученици и семейства, като демографски характеристики, образование на родителите, продължителност на текущото пребиваване и оценки на родителите за текущото училище на детето. Тези характеристики бяха използвани в статистическите модели, за да се коригират каквито и да са останали разлики между студентите, на които са били предложени и не са предлагани ваучери.



Резултатите показват, че след една година учениците, на които е бил предложен ваучер, са постигнали по-нисък резултат от математическата част на теста и сумата, с която са били по-ниски, е статистически значима (разликата не може да се обясни със случайни вариации). Студентите също са постигнали по-нисък резултат на теста за четене, но количеството, с което са били по-ниски, не е статистически значимо.две

Проучването разглежда три възможни обяснения за отрицателните резултати. Едното е, че учениците, които не са предлагали ваучери, продължават да посещават високоефективни държавни училища (или традиционни, или чартърни училища). Това обаче не обяснява много – учениците, които не са предлагали ваучери, посещават държавни училища, които имат нива на постижения, които са средни за окръга. Второ възможно обяснение беше, че учениците се справяха по-слабо с тестовете, защото се адаптираха към новите училища. Това обяснение също не издържа, отчасти защото повече от половината ученици не предложили ваучер, също сменили училище, или защото трябвало (като ученици, които се преместват от основно училище в средно училище), или защото са искали.

Третото обяснение беше, че частните училища предоставят по-малко обучение по четене и математика. Данните от проучване на директори, проведено от проучването, показват, че времето за обучение е по-малко с около час седмично и при двата субекта, около дванадесет минути на ден. Областта не беше необичайна в това отношение — разликата във времето за обучение между частните и държавните училища беше приблизително същата, както докладва Националният център за образователна статистика от национално проучване на директори.3Но поне е правдоподобно учениците в частните училища да са получили по-ниски резултати, защото са получили по-малко инструкции по четене и математика.

Програмата за стипендии на Луизиана

Програмата за стипендии на Луизиана (LSP) стартира през 2012 г.4Това е програма в цялата страна и почти 10 000 студенти кандидатстваха през първата й година, което я прави значително по-голяма от програмата на DC, която средно около 600 отговарящи на условията кандидати годишно през трите години, когато студентите бяха записани в извадката за изследване. Частните училища, които избраха да участват, като приемат ваучери като плащане, също трябваше да администрират оценката на щата Луизиана на ученици, получаващи ваучери, и бяха оценени от държавата, използвайки същата схема A-F, която държавата използва за своите държавни училища. Частни училища, чиито ученици, получаващи ваучери, са постигнали слаб резултат и са получили ниски оценки от държавата, могат да бъдат премахнати от програмата.

Изучаването на LSP е експеримент, но е по-сложен от този в DC. Лотарията в основата на експеримента LSP беше проведена само когато училищата не разполагаха с достатъчно свободни места на ниво клас за броя на учениците, които искаха да посещават това училище и клас. Едно училище може да е имало достатъчно места за броя на кандидатстващите четвъртокласници, например, но няма достатъчно места за броя на кандидатстващите третокласници. Това би предизвикало лотария за трети клас в училището. Комбинацията от приоритети на кандидатите, предпочитания, изразени от родителите за училищата, и наличните пространства доведе до сложна структура със 150 различни лотарии, което изисква сложен аналитичен подход за измерване на ефектите на ваучерите, описан в докладите от проучването.

Проучването изчисли, че учениците, използващи ваучери, имат по-ниски резултати по математика при оценката на щата Луизиана - всъщност резултатите са доста по-ниски. Проучването представи резултати за две извадки, едната, която беше ограничена до ученици, които са имали изходни резултати, тъй като преди това са участвали в държавните тестове в държавно училище, преди да кандидатстват за ваучер, и друга, която включва пълната извадка от ученици, които са имали тест резултат три години по-късно, независимо дали са имали изходен резултат. Резултатите бяха отрицателни и статистически значими за пълната извадка, но по-малко отрицателни и не статистически значими за извадката, която беше ограничена до студенти с изходни резултати. Експериментите не трябва да използват базови данни за оценка на ефектите, тъй като простите разлики в резултатите при проследяване са ефекти от програмата. А използването на по-големи проби може да даде по-точни оценки. Зависи от това дали извадката е достатъчно по-голяма, за да компенсира липсата на изходни тестови резултати. В този случай нашето предпочитание е за резултатите от пълната извадка, но резултатите от двете проби сочат в една и съща посока.

Медийното отчитане на констатациите посочи като добра новина по-големите негативни ефекти през първата година и по-малките отрицателни ефекти през третата година.5Това е странно заключение. Има различни аргументи за ваучерите, като например, че те ще дадат на родителите повече избор, ще намалят ролята на правителството в образованието, ще дадат възможност на родителите да предават ценности и религия на децата си и ще предоставят рентабилно образование. Но със сигурност един от аргументите за ваучерите е да се даде възможност на учениците да процъфтяват академично в частните училища. Ако случаят е такъв, на първо място не е трябвало да има каквото и да е наваксване, освен каквито и да са корекции, които учениците трябва да направят, когато сменят училището. И е забележително, че студентите от Луизиана все още не са настигнали след три години.

Някои коментатори стигнаха до заключението, че негативните ефекти в Луизиана са следствие от това, че програмата е „прекомерно регулирана“.6Но заключението, че програмата на Луизиана е била свръхрегулирана, се основава на непосочени предпоставки, че частните училища, които са се съгласили да участват, са академично по-ниски от тези, които не са съгласни, но биха имали, ако държавата не наложи изисквания, или че самото регулиране влошава академичните постижения. Доказателства за едното и другото забележимо липсват в аргумента. Освен това другите три обсъждани тук изследвания нямат същата регулаторна структура.

Програмата за стипендии за избор на Индиана

В момента Индиана управлява най-голямата програма за училищни ваучери в страната. Повече от 34 000 студенти получи ваучери за посещаване на повече от 300 частни училища през наскоро приключилата (2016-2017) учебна година. За разлика от други програми за ваучери, Индиана дава ваучери на студенти, живеещи в семейства с относително средни доходи, въпреки че студентите, живеещи в семейства, по-близо до линията на бедността, имат право на по-големи ваучери. И за разлика от други щати, работещи с ваучерни програми, Индиана изисква частните си училища да администрират държавната оценка. Частните училища не са нови за теста.

Нийл Армстронг кацна на Луната

В наскоро публикувано проучване от програмата изследва ефектите му върху резултатите от тестовете за студенти, които са използвали ваучери за една, две, три или четири години.7Това не са същите ученици – ученик, който използва ваучер за, да речем, две години и след това се връща в държавно училище, не е в извадката от ученици, които са използвали ваучер за три или четири години. В извадката от студенти от проучването, използвани за измерване на ефектите, броят на студентите, които са използвали ваучер за една година, е десет пъти по-голям от броя, които са използвали ваучер за четири години (Приложение Таблица 1).

Програмата на Индиана не използва лотарии и изследователският екип използва квази-експериментални подходи за измерване на ефектите. Това направи, като съпостави ученици, които смениха училище и са използвали ваучери, с ученици, които не го направиха, и сравни резултатите на по-късни етапи. Подходът за съвпадение е еквивалент на това да погледнете голяма тълпа и да изберете човек, който най-много прилича на вас. Ученик, който използва ваучер и посещава пети клас, има семейни доходи близо до линията на бедността, определена раса или етническа принадлежност и има ниски резултати от теста по математика и четене, например, ще бъде съпоставен с един или повече ученици, които също са посещават пети клас, имат доходи близо до прага на бедността, са от тази раса или етническа принадлежност и имат нисък успех по четене и математика, но не използват ваучери.8

Този подход звучи много като експеримент, но се различава по важно измерение – характеристиките на учениците или семействата, които обясняват защо някои са използвали, а други не са използвали ваучери, може да не са еднакви. Например, учениците, използващи ваучери, може да имат повече мотивация за академичен успех или родителите на тези ученици може да са толкова склонни, или родителите може да са посещавали частни училища и да искат децата им също да ги посещават. Може да има и „отрицателна“ селекция, като например учениците, които се борят в държавните училища, е по-вероятно да използват ваучери. И в двата случая тези „ненаблюдавани“ променливи пречат, защото студентите, използващи ваучери, може да са имали различни академични резултати, дори и да не е имало ваучерна програма. Неспособността да се контролират тези ненаблюдавани променливи е това, което разделя квази-експериментите от експериментите. Лотариите, които са истински експерименти, са слепи за ненаблюдавани променливи и в крайна сметка се разпределят поравно между тези, които ги печелят и губят.

Проучването се старае да разгледа алтернативни подходи за съвпадение и различни начини за оценка на ефектите върху резултатите от теста. Но основната констатация е същата като другите две проучвания, обсъдени по-горе. Учениците, които са използвали ваучерите си, за да преминат от държавни към частни училища, са по-склонни да постигнат по-слаб резултат по математика и са били приблизително еднакви по четене.9

Проучването отбелязва, че учениците, използващи ваучера повече години, изглежда имат по-малки отрицателни ефекти, но, както беше отбелязано по-горе, това не са същите ученици, които се проследяват повече години, какъвто е случаят в Луизиана (и ще бъде в бъдещи доклади за проучването на DC). Те са различни студенти, които са използвали ваучери за по-дълги периоди. Това, че някои студенти са използвали ваучери за по-дълги периоди, натоварва повече метода за съвпадение, тъй като случаят, че ненаблюдаваните променливи влияят на техните резултати, става по-силен. Тук съществува полезна възможност за изследване на разликите между „дълго пребиваващи“ и „кратко пребиваващи“, което може да подобри разбирането ни за това кои видове студенти се възползват от ваучерните програми.

Програмата EdChoice в Охайо

Програмата „EdChoice“ в Охайо предостави ваучери за повече от 18 000 ученици през учебната 2013-2014 г., а скорошните законодателни промени вероятно ще разширят този брой. Охайо не провеждаше лотарии, но държавните оценки бяха назначавани на всички студенти, получаващи ваучери, и проучване съпостави ученици, използващи ваучери, с подобни студенти, които не са ги използвали.10

Един от критериите за допустимост за програмата в Охайо беше, че държавното училище, което учениците посещават в момента, трябваше да получи резултат под праг по мярката „Показател за ефективност“ на Охайо. Проучването използва този праг за идентифициране на училища в близост до прага и съпоставя учениците в училища, които са от едната страна на прага, с учениците, които са в училища от другата страна. Това вероятно ще намали проблемите с ненаблюдаваните променливи, въпреки че проучването признава, че плаща цена по отношение на представителността на констатациите. Повечето училища са доста над или доста под прага и не са представени в извадката.

Сравняването на резултатите от оценката на изявлението на Охайо за съвпадащи ученици установи големи отрицателни ефекти върху математиката и за четене. Другите три проучвания откриха доказателства за отрицателни ефекти върху математиката - проучването в Охайо е единственото, което открива отрицателни и статистически значими ефекти и при четенето. Основните констатации не бяха засегнати, когато проучването оцени различни видове модели и направи извадката по-голяма, като включи студенти, които отговарят на условията за ваучер през която и да е година след първоначалното стартиране на програмата през 2007 г.

Проучването в Охайо също така разглежда дали програмата е довела до промени в академичните постижения на учениците, които са били в училища, които са били близо до допустимите за програмата. Установено е, че учениците в тези училища имат по-високи академични постижения, „конкурентен ефект“, който отразява предишно проучване на конкурентните ефекти във Флорида.единадесетКонкурентните ефекти са интересни, защото потенциално включват много студенти, които не използват ваучери, но се възползват академично от ваучерната програма. Те обаче създават и напрежение. Студентите, използващи ваучери, изпитват академични загуби, които са по-големи от академичните печалби, претърпели студенти, които не използват ваучери.

Къде сме сега?

Четири скорошни проучвания, четири различни програми, различни изследователски подходи, но една и съща обща констатация – използването на ваучери за посещение в частни училища води до по-ниски резултати по математика, а в едно проучване – и до по-ниски резултати за четене.

Някои предишни проучвания показват положителни резултати за по-възрастните студенти, като по-висок процент на дипломиране и по-висок процент на посещаване в колеж.12Позовавайки се на тези и други проучвания, Грийн твърди, че резултатите от тестовете трябва да бъдат омаловажени, тъй като те са слабо свързани с резултатите за възрастни като ходене в колеж и приходи.13

Този аргумент повдига въпроса доколко големи корелации трябва да се разглеждат като индикатори за резултатите от възрастните и също така отхвърля скорошните изследвания, показващи, че подобренията в резултатите от тестовете са свързани с ефективните учители бяха корелира с печалбите в резултатите на пазара на труда за възрастни.14Това изследване предполага да бъдете много предпазливи, когато се представят доказателства за обществени програми, които произвеждат отрицателни ефекти върху резултатите от теста. Изследователите трябва да обмислят начини за измерване на други резултати, които имат значение в дебата, като например чрез проектиране на проучвания с дълги периоди на проследяване, за да се даде възможност за бъдещи изследвания за завършване на гимназия, ходене в колеж и резултати на пазара на труда. Това означава да чакате по-дълго за отговори, но стойността на познаването на отговорите е ясна.

Нито едно от четирите проучвания не разопакова образованието, което се случва в държавните и частните училища, които посещават участниците в проучването. Проучването на Индиана споменава използването на качествени подходи за интервюиране на администратори на частни училища за техния опит при адаптиране към входящите студенти с ваучери и това изглежда като плодотворна вена. Има набор от инструменти, които изследователите биха могли да използват тук — мерки с добавена стойност, които разграничават нивото на резултатите от тестовете на училището и печалбите на учениците от резултатите от теста (подобренията вероятно са това, за което родителите се интересуват, а нивата са шумен сигнал за печалба ), проучвания на училищния климат, инструменти за наблюдение на учителите, описания на учебните програми. Без тези измервания наистина нямаме представа как се сравняват частните и държавните училища в начина, по който обучават учениците.

Ако четирите проучвания предполагат нещо, това е, че частните училища нямат таен ключ, който да отключва образователния потенциал.