Бележка на редактора: Независимата група за оценка на Световната банка (IEG) наскоро публикува самооценка на своите дейности. Освен че представя текущото мислене сред експертите по оценка в Световната банка, той също така отразява по-широко някои от силните страни и пропуските в подходите, които оценителите използват, за да оценяват и да се учат от работата на международните институции, с които работят. Старият въпрос Quis custodet ipsos custodes? – свободно преведено като Кой оценява оценителите? – остава актуален както винаги. Йоханес Лин служи като външен партньорски рецензент на самооценката и предоставя изглед от птичи поглед върху научените уроци.
Преглед на доклада за самооценка на Световната банка на IEG
През 2011 г. Независимата група за оценка на Световната банка (IEG) извърши и публикува а самооценка на дейността си. Екипът за самооценка беше ръководен от вътрешен мениджър, но включваше уважаван експерт по външна оценка като главен автор, а също и външен рецензент.
Самооценката на IEG следва най-добрите професионални практики, кодифицирани от Групата за сътрудничество при оценяване (ECG). Тази група обединява службите за оценка на седем големи многостранни финансови институции в съвместни усилия, предназначени да подобрят изпълнението на оценката и сътрудничеството между техните оценители. Следователно може да се заключи, че подходът и фокусът на самооценката на IEG са представителни за по-широк набор от практики, които понастоящем се използват от общността за оценка на международните финансови организации.
В началото в доклада на IEG се посочва, че IEG е най-големият отдел за оценка сред членовете на групата за оценка на капацитета (ECG) и е на високо уважение от международната общност за оценка. Независимите оценки на ролята на IEG като независима функция за оценка за Банката и IFC я оцениха над функциите за оценка в повечето други членове на ECG, международни неправителствени организации и транснационални корпорации и установиха, че IEG следва принципите за оценка на добри практики.
как работи еврейският календар
Докладът за самооценка като цяло потвърждава тази положителна оценка. За четири от шест области на своя мандат IEG си дава втората най-висока оценка (добра) от шест възможни рейтингови категории. Това включва (а) професионалното качество на нейните оценки, (б) нейните доклади за това как ръководството на Световната банка следва препоръките на IEG, (в) сътрудничество с други служби за оценка и (г) помощ на страните заематели за подобряване на собствените си капацитет за оценка. В областта на оценката на практиките на Световната банка за самооценка и управление на риска, докладът предлага третата най-висока оценка (задоволителна), докато дава третата най-ниска оценка (скромна) за въздействието на IEG върху политиките, стратегиите и операциите на банката. Освен това самооценката заключава, че като цяло представянето на IEG е било добро и че той работи независимо, ефективно и ефикасно.
Докладът прави редица препоръки за подобрение, които вероятно ще бъдат полезни, но имат ограничено въздействие върху дейността му. Те обхващат мерки за допълнително повишаване на независимостта на IEG и последователността на практиките за оценка, прилагани в клоновете на Групата на Световната банка – Световната банка, Международната финансова корпорация (IFC) и Многостранната агенция за гарантиране на инвестициите (MIGA) –; да подобри дизайна на оценките и ангажираността с ръководството на Банката нагоре по веригата за по-голямо въздействие; и наблюдение на въздействието на последните организационни промени в IEG по отношение на постигнатите резултати. Докладът също така препоръчва да се направи повече за оценка на аналитичната работа на банката и оценките да се основават на сравнителни доказателства.
Оценяване
По отношение на параметрите на самооценката, определени от преобладаващата практика сред оценителите на международни финансови агенции, самооценката на IEG е точна и полезна. От собствения си опит като оперативен мениджър в Банката, чиито дейности бяха оценени от IEG през минали години, и като потребител на оценки на IEG (и на оценки на други международни организации за помощ) за моето изследване на ефективността на помощта, аз съм съгласен, че IEG е независим и ефективен при изпълнение на мандата си, както е определен. Освен това самооценката произвежда полезни количествени доказателства (включително резултати от проучване, анализ на бюджета и т.н.), за да потвърди качествените преценки.
Самооценката обаче страда от редица ограничения в подхода и пропуски във фокуса, които в общи линии са представителни за практиките, преобладаващи сред много от службите за оценка на международните агенции за помощ.
Внимателният прочит на доклада разкрива шест важни пропуски в самооценката на IEG, в преобладаващата практика на оценка в Световната банка и по-общо в начина, по който международните финансови организации оценяват собственото си представяне. Първите три пропуски се отнасят до аспекти на използвания подход за оценка, а вторите три пропуски се отнасят до липсата на фокус в самооценката върху ключови вътрешни организационни въпроси:
един. Оценки на въздействието: Докладът отбелязва, че IEG извършва две до три оценки на въздействието годишно, но заобикаля дебата в настоящата литература и практика за оценка за това до каква степен златният стандарт за рандомизирана оценка на въздействието трябва да заема много по-централна роля. Предвид важността на този дебат и разминаването във възгледите, би било подходящо самооценката да оцени настоящата практика на IEG за много ограничено използване на рандомизирани оценки.
как изглежда венера
две. Оценка на увеличаване на мащаба: Докладът не разглежда въпроса до каква степен настоящата практика на IEG не само оценява изпълнението на отделните проекти по отношение на техните резултати и устойчивост, но също така и по отношение на това дали Банката систематично е надграждала своя опит в конкретни проекти, за да помогне за мащабирането засилване на въздействието им чрез подкрепа за разширяване или възпроизвеждане в последващи операции или чрез ефективно предаване на правителството или други партньори. Всъщност в момента IEG не обмисля изрично и систематично разширяване в своите оценки на проекти и програми. Например в неотдавнашна оценка на IEG на финансирана от Световната банка общински проекти за развитие (MDPs) , IEG установи, че Банката е подкрепяла множество MDP в много страни през годините, но оценката не адресира очевидния въпрос дали Банката систематично е планирала последователността на проекта или е надграждала опита си от предишни проекти при последващи операции. Докато повечето други служби за оценка като IEG не обмислят разширяване, някои (по-специално тези на Международния фонд за селскостопанско развитие и Програмата за развитие на ООН) започнаха да го правят през последните години.
3. Въз основа на опита и сравнителен анализ на други институции: Докладът за самооценка върши добра работа при сравнителния анализ на представянето на IEG в редица отношения спрямо това на други многостранни институции. В основния текст на доклада се посочва, че IEG планира да разработи насоки за документите за подход, за да гарантира по-високо качество, по-специално при използване на сравнителна информация от други източници и сравнителен анализ спрямо други институции. Това е добре дошло намерение, но е неадекватно мотивирано в останалата част от доклада и не е отразено в Резюмето. Реалността е, че IEG, подобно на повечето многостранни служби за оценка, досега не е използвала систематично оценките и съответния опит на други агенции за помощ в своите оценки на работата на Световната банка. Това силно ограничи въздействието на оценките върху обучението.
Четири. Вътрешни политики на банката, управленски процеси и стимули: Оценките на IEG традиционно не се фокусират върху това как вътрешните политики, управлението и стимулите на Банката влияят върху качеството на ангажимента на Банката в страните. Следователно оценките не могат да предложат никаква представа за това дали и как вътрешните оперативни модалности на банката допринасят за резултатите. Две скорошни изключения са забележителни изключения. Първо, IEG оценка на подхода на Банката за хармонизиране с други донори и привеждане в съответствие с приоритетите на държавата оценява стимулите за персонала да подкрепя хармонизирането и привеждането в съответствие. Оценката заключава, че няма достатъчно стимули, констатация, оспорена от ръководството. Второ, е оценката на вътрешните матрични механизми за управление на Банката, която в момента е в ход. Самооценката отбелязва, че ръководството на банката се е опитало да отмени матричната оценка с мотива, че тя не попада под мандата на IEG. Това е неудобен аргумент, тъй като оценката на институционалните причини за представянето на Банката е съществен компонент от всяка смислена оценка на поддържаните от Банката програми. Макар че е добър аргумент за конкретния случай на матричната оценка, докладът за самооценка се отклонява от по-общо изявление в подкрепа на ангажирането на IEG по въпроси на вътрешните политики на банката, управленските процеси и стимулите. Трябва да се отбележи, че Независимата служба за оценка на IFAD изглежда по-агресивна в това отношение: в момента тя извършва пълна оценка на вътрешната ефективност на IFAD и предишни оценки (напр. оценка на иновациите и разширяването) не се свени да оцени вътрешните институционални измерения.
пълнолуние 2016 САЩ
5. Управление на Световната банка: Самооценката на IEG е още по-рестриктивна в начина, по който тълкува мандата си по отношение на оценката на структурите и процесите на управление на Световната банка (включително подхода й към гласа и гласуването на членовете, функционирането на борда на директорите, избора на висшия ѝ управление и др.). Той разглежда тези теми извън мандата на IEG. Това е жалко, тъй като начинът, по който се развива управлението на Банката, ще повлияе значително на нейната дългосрочна легитимност, ефективност и жизнеспособност като международна финансова институция. Тъй като IEG се отчита пред борда на директорите на банката и много от въпросите на управлението включват въпроси за състава, ролята и функционирането на борда, съществува валиден въпрос доколко ефективно IEG би могла да извърши такава оценка. Прави впечатление обаче, че Независимата служба за оценка на МВФ, която по подобен начин докладва на борда на директорите на МВФ, публикува пълна оценка на управлението на МВФ през 2008 г., което ефективно отговори на много от правилните въпроси.
6. Синергии между Световната банка, IFC и MIGA: Докладът за самооценка посочва, че неотдавнашната вътрешна реорганизация на IEG имаше за цел да осигури по-ефективни и последователни оценки в трите клона на Световната банка. Това е добре дошло, но докладът не оценява как минали оценки се занимават с въпроса дали Световната банка, IFC и MIGA ефективно се възползват от потенциалните синергии между трите организации. Последните оценка от отговора на Групата на Световната банка на глобалната икономическа криза от 2008/2009 г. предостави паралелни оценки на представянето на всяка агенция, но не разгледа дали работят заедно ефективно за максимизиране на своите синергии. Реалността е, че трите организации имат дълбоко вкоренени институционални култури и като цяло вървят по собствен път, вместо да координират тясно дейностите си на място. Бъдещите оценки трябва изрично да отчитат дали трите ефективно си сътрудничат или не. Докато Световната банка е уникална по начина, по който организационно е разделила частния сектор и гаранционните операции, други организации за помощ също имат проблеми с липсата на сътрудничество, координация и синергия между различните звена в рамките на агенцията. Следователно същият коментар важи и за техните подходи за оценка.
Заключения
Самооценките са ценни инструменти за оценка на изпълнението и IEG трябва да бъде поздравен за извършването и публикуването на такава оценка на собствените си дейности. Що се отнася до всички самооценки, то трябва да се разглежда като принос към независима външна оценка, решение, което засега очевидно е отложено от борда на директорите на банката.
Самооценката на IEG има много силни страни и предоставя цялостна положителна оценка на работата на IEG. Въпреки това, той отразява някои важни ограничения на анализа и на определени пропуски в подхода и покритието, които независим външен преглед трябва да разгледа изрично и които ръководството на IEG трябва да разгледа. Тъй като много от тези въпроси вероятно се отнасят и за повечето други подходи за оценка от други служби за оценка, уроците имат значение извън IEG и Световната банка.
Ключовите уроци включват:
Оценките играят съществена роля в отчетността и обучението на международните хуманитарни организации. Ето защо е изключително важно оценките да адресират правилните проблеми и да използват подходящи техники. Ако поуките по-горе бяха отразени в практиките за оценка на институциите за подпомагане, това би представлявало значителна стъпка напред по отношение на качеството, уместността и вероятното въздействие на оценките.