МОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ МОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Автор: Д-р Андрей Нончев, Координатор, Социологическа програма, Център за изследване на демокрацията Центърът за изследване на демокрацията благодари за бележките и предложенията на рецензентите: Доц. д-р Благовест Георгиев, СУ„Климент Охридски” Доц. д-р Румяна Стоилова, Институт по социология, Българска академия на науките Тази публикация се осъществява с финансовата подкрепа на Фондация „Фридрих Еберт”. ISBN: 978-954-477-160-7 © 2009, Център за изследване на демокрацията ул. „Александър Жендов” 5, 1113 София тел.:(+359 2) 971 3000, факс:(+359 2) 971 2233 www.csd.bg, csd@online.bg 3 СЪДЪРЖАНИЕ Предговор.................................... 5 Първи раздел. Мониторинг и оценка на публични политики и програми – същност, цели, типология............... 7 1. Мониторинг и оценка на публични политики и програми: основни характеристики, цели и функции............ 7 1.1. Основни характеристики..................... 7 1.2. Цели и функции......................... 13 2. Видове оценки на публични политики и програми...... 17 2.1. Видове оценки според фазата на политиката/ програмата, в която се осъществяват............ 17 2.2. Видове оценки според методологическия подход и поставените цели...................... 19 2.3. Видове оценки според позицията на оценителите.... 21 2.4. Видове оценки според териториалния обхват....... 21 3. Специфика на някои видове оценки на публични политики и програми........................ 25 3.1.„Бързи“ оценки(Rapid Appraisal, Rapid Assessment)... 25 3.2. Одит на изпълнението..................... 28 3.3. Оценка на показатели(benchmarking)............ 33 Втори раздел. Технология и методи за мониторинг и оценка на публични политики и програми................. 39 1. Фази на мониторинга и оценката на публични политики и програми........................ 39 1.1. Идентифициране на проблемната ситуация........ 39 1.2. Анализ на заинтересованите страни............. 41 1.3. Подготовка............................ 42 1.4. Събиране на данни....................... 43 1.5. Анализ и интерпретация на информацията........ 44 1.6. Вграждане на резултатите в политиката/програмата... 45 2. Методи за анализ и включване на заинтересованите страни при оценката на публични политики и програми....... 46 2.1. Основни стъпки при анализа на заинтересованите страни.................. 46 2.2. Някои методи за анализ и включване на заинтересованите страни.................. 51 3. Основни методи за събиране на информация при мониторинга и оценката на публични политики и програми......................... 61 3.1. Количествени методи за събиране на информация... 62 3.2. Качествени методи за събиране на информация..... 68 3.3. Допълващи техники....................... 73 4 Приложение. Оценка на Стратегията и Програмата за прозрачно управление и за превенция и противодействие на корупцията(2006 – 2008)..................... 77 1. Цели и съдържание......................... 77 2. Методика за оценка на конкретна мярка............ 81 2.1. Индикатори, методи и източници на информация за оценка на общата цел................... 83 2.2. Индикатори, методи и източници на информация за оценка на конкретната цел................ 88 2.3. Индикатори, методи и източници на информация за оценка на оперативната цел................ 94 Заключение................................. 101 Библиография................................ 103 ПРЕДГОВОР 5 През последните две десетилетия теорията и практиките на мониторинг и оценка на публични политики и програми се развиват изключително динамично в различен териториален и институционален контекст. Редица международни институции, организации(Европейската комисия, Организацията за икономическо сътрудничество и развитие, Световната банка, Програмата за развитие на ООН, УНИЦЕФ и др.) и правителства използват все по-активно практиките на мониторинг и оценяване на публични политики и програми с различен характер и обхват. Това поле се обособява като самостоятелен и с непрекъснато нарастващ престиж център на теоретични разработки, емпирични и методологически изследвания, консултантска и практическа дейност. Наблюдава се и процес на институционализация на новото изследователско направление – лансират се специализирани университетски курсове, появяват се нови академични издания, развиват се международни мрежи от експерти и т.н. Експоненциално се увеличава броят на научните публикации, методическите ръководства, практическите наръчници, посветени на различни аспекти, типове и методи на мониторинг и оценяване на публични политики и програми. Въпреки че първоначално публикациите в тази тематична област започват да се появяват предимно в САЩ, през последните години те все повече се увеличават и в Европа. Европейската комисия приема и регулации, които изискват задължително провеждане на предварителни, текущи и заключителни оценки на програмите, финансирани от европейски фондове. В България обаче теоретичните изследвания, методическите разработки и направените оценки в тази сфера са сравнително ограничени и все още недостатъчно популярни. Основната цел на това учебно-методическо ръководство е да запознае българските читатели с теорията и практиката на мониторинга и оценката на публичните политики и програми не само в страната, но и в различни международни и европейски институции. То предоставя библиография и полезни връзки в областта на мониторинга и оценката на публични политики и програми, които могат да се използват от изследователи, експерти, практици и студенти като информационни източници. Авторът предвижда учебно-методическото ръководство да бъде публикувано в три части. Неговата първа част, която се представя сега пред читателя, е резултат от работата по проект„Укрепване на капацитета на Центъра за изследване на демокрацията за формиране на публичночастни партньорства при прилагане на стандартите и практиките на ЕС в областта на правосъдието и вътрешните работи”, реализиран от Центъра за изследване на демокрацията по Оперативна програма„Административен капацитет”, финансирана от Европейския социален фонд. В рамките на този проект беше предвидено и осъществено обучение по мониторинг и оценка на публични политики и програми, по-конкретно в областта„Правосъдие и вътрешни работи”. Учебно-методическото ръководство се базира на подготвените материали за обучение и включва няколко тематични центъра. В първия раздел са разгледани същността, 6 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ общите принципи, цели и функции на мониторинга и оценката на публични политики и програми. Представени са различни класификационни схеми и видове оценки, някои техни общи и специфични характеристики. По-подробно са описани три вида оценки на публични политики и програми –„бързи” оценки(rapid appraisal/assessment), одит на изпълнението, оценка на показатели(benchmarking). Във втория раздел е направена обща характеристика на технологията на мониторинга и оценката, основните фази на този процес и тяхното принципно съдържание. Представени са някои методи за анализ и включване на заинтересованите страни при мониторинга и оценката на публични политики и програми. Извършен е и кратък преглед на най-разпространените методи за събиране на информация и анализ, които се използват при мониторинга и оценяването на политики и програми. Първата част на учебно-методическото ръководство има въвеждащ характер, като главната й цел е да представи общата теоретична, методическа и институционална рамка, в която се осъществяват мониторингът и оценките на публични политики и програми, като вниманието е фокусирано върху чувствителната и проблемна за България област„Правосъдие и вътрешни работи” и по-конкретно – противодействието на корупцията в публичната сфера. За илюстрация на общите принципи, методи и техники на мониторинг и оценка на публични политики и програми в приложение е разработена и представена примерна методика за оценка на конкретна мярка, включена в програмата за изпълнение на Стратегията за прозрачно управление и за превенция и противодействие на корупцията за периода 2006 – 2008 г. Втората част на учебно-методическото ръководство ще бъде фокусирана върху спецификата на широко прилаганите оценки на социалното въздействие(social impact assessment). Третата част ще бъде посветена на по-подробното и практически ориентирано разглеждане на методите и техниките за осъществяване на мониторинг и оценка на публични политики и програми. Втората част на учебно-методическото ръководство се предвижда да бъде издадена до края на 2009 г., а третата – през 2010 г. Авторът изразява надеждата, че учебно-методическото ръководство може да бъде полезно на няколко категории читатели: • Първо, политици, служители в обществения сектор и експерти, интересуващи се от теорията и практиката на мониторинга и оценката на публичните политики и програми или възлагащи такива оценки. • Второ, консултанти и практици, които извършват мониторинг и оценка на публични политики и програми. • Трето, ръководители на програми, които биха искали да инкорпорират резултатите от подобни оценки в управлението и развитието на програмите. • Четвърто, преподаватели и студенти в областта на публичната администрация, социологията, икономиката, политологията и др. • Пето, представители и експерти на граждански сдружения и организации, които работят в областта на ефективното функциониране на публичния сектор и доброто обществено управление. 7 ПЪРВИ РАЗДЕЛ МОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ – СЪЩНОСТ, ЦЕЛИ, ТИПОЛОГИЯ 1. МОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ: ОСНОВНИ ХАРАКТЕРИСТИКИ, ЦЕЛИ И ФУНКЦИИ 1.1. Основни характеристики В това учебно-методическо ръководство„публична политика” се използва като най-общ термин, означаващ система от принципи и насоки за действия, ориентирани към постигането на определени цели с помощта на определени средства и често в рамките на определено време, които се разработват и осъществяват от държавни или наднационални органи, разполагащи с политически, законодателни, изпълнителни и финансови правомощия. Публичните политики се разработват под различна форма – концепции, стратегии, законопроекти или закони. По-рядко политиките се представят в подзаконови нормативни актове, изготвяни и приемани от органите и структурите на изпълнителната власт, въпреки че обикновено те имат водеща роля при подготовката на публичните политики на национално равнище. Понякога публични политики се предлагат както от политически партии, така и от неправителствени организации, като в редица случаи те се обсъждат и утвърждават от националните законодателни органи. Международните и европейските политики в определени сектори също се разработват най-често от съответните легитимни органи на Европейския съюз, ООН, ПРООН, УНИЦЕФ и т.н. Наднационалните политики са обект на широки публични и експертни обсъждания с активното участие на страните – членки на съответните международни организации. След разработването и утвърждаването на публичните политики като правило се разработват програми или планове за действие(action plan), чрез които те се реализират. Обикновено програмите обхващат взаимосвързани действия и средства(технически, организационни, правни, финансови и др.) за изпълнение на дадена международна, европейска, правителствена или ведомствена политика. Управлението на програмата обхваща всички решения, действия и правила за ръководство, отчетност и използване на човешките, финансовите и материалните ресурси. Разработването и осъществяването на публични политики и програми е сложен и многоаспектен процес, протичащ през различни фази, които най-общо включват(Фигура 1): 1. Стратегическо планиране. 2. Разработване на политиката и програмите за нейната реализация. 8 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 3. Прилагане на политиката и програмите. 4. Мониторинг. 5. Оценка. Учебно-методическото ръководство е фокусирано преди всичко върху четвъртата и петата фаза на този процес. Трябва да се има предвид обаче, че поради неговия цикличен характер някои видове оценки – например т.нар. предварителни(ex-ante) оценки, се осъществяват в рамките на планирането и разработването на публичните политики и програми. Често тези първи фази се базират на информация, получена по време на мониторинга или оценката на предишни политики и програми или на определени техни предходни етапи. Ф ИГУРА 1. Ц ИКЛИЧНИ ФАЗИ НА РАЗРАБОТВАНЕТО И ПРИЛАГАНЕТО НА ПУБЛИЧНИ ПОЛИТИКИ �������������� ��������� ������ ������������ ���������� ��������� Мониторингът на публични политики и програми може да се определи като процес на системно и непрекъснато събиране и анализ на информация за хода на реализацията на политиката/ програмата и постигането на поставените цели/резултати. Получената информация се използва за целите на управлението – осъществяване на контрол и вземане на управленски решения за продължаване, изменение, допълване или прекратяване на реализацията на съответната политика или програма. Основна задача на мониторинга на публичните политики и програми е да се следят и измерват постигането на техните цели и ефективността им в хода на тяхната реализация. В резултат на осъществявания мониторинг могат да се направят своевременни корекции в начина на изпълнение на политиките и програмите. Текущият мониторинг има особено важна роля при дългосрочните политики и програми, които се реализират в няколко фази. Осъществяването на всяка следваща фаза може да се предшества от мониторинг и оценка на дейностите и резултатите от предшестващите етапи. На национално равнище в България като пример може да се посочи Системата за мониторинг на корупцията, разработена и осъществявана от Центъра за изследване на демокрацията и изследователската агенция„Витоша рисърч”. Чрез нея се извършват текущ мониторинг и периодични оценки(чрез ежегодни Доклади за оценка на корупцията) на състоянието и динамиката на корупционните практики в българското общество и различни негови сфери. Това позволява да се оценяват резултатите от политиките и програмите за противодействие на корупцията в българското общество, да се идентифицират основните проблемни зони и да се правят препоръки за промяна и развитие на осъществяваните антикорупционни политики, програми и инициативи. П ЪРВИ РАЗДЕЛ 9 Една от широко използваните дефиниции на понятието„оценка на публични политики и програми” я определя като преценка на публичните политики и програми въз основа на техните резултати, въздействието им и потребностите, които са предназначени да удовлетворят 1 . Оценката обикновено засяга задоволяването на важни обществени потребности в резултат на предвидените в политиката/програмата интервенции, както и резултатите и въздействията, произведени от тях. Тя се осъществява в съответствие с експлицитно определени критерии и стандарти по отношение на тяхната адекватност, ефикасност, ефективност, устойчивост, справедливост и др. Като правило оценката се базира на специално събрана и анализирана информация. Формирането на теоретичното, приложното и изследователското поле на оценяването на политики и програми исторически има няколко идейни източника: Първо, научни изследвания и методи. Много принципи и методи на оценяването се споделят от по-широки научни общности преди всичко в сферата на социалните и икономическите науки. Те се вписват в логиката на научния подход – формулиране и тестване на хипотези, събиране на емпирични данни, анализ на получената информация, за да се разберат и обяснят наблюдаваните явления. Второ, икономическа теория и теория на публичния избор. Тяхното влияние върху оценяването на политики и програми се проявява в няколко основни направления – акцент върху ефикасността и оптималното разпределение на ограничените обществени ресурси, институционални микроикономически стимули и макроикономически изследвания на ефектите на извършваните интервенции. Значителна част от работата на оценителите е да обвържат резултатите и въздействията на прилаганите политики и програми с направените разходи и вложения. Трето, теория на организациите и управлението. През последните години вниманието се насочва към изпълнението на политиките и програмите, техните резултати и въздействия. Идентифицират се темите за организационния дизайн на политиките и програмите, междуинституционалната им координация, мотивацията и участието на целевите групи, заинтересованите страни, изпълнителите в цялостния процес на планиране, разработване, прилагане, мониторинг и оценка на политиките и програмите. Четвърто, политически и административни науки. Публичните политики и програми като правило са ориентирани към проблеми на политическия процес, реформирането на обществения сектор, гражданското участие, прозрачността и отговорността на публичната власт. Освен това се обръща внимание и на изграждането на обществен консенсус, за да се гарантира легитимността на прилаганите политики и програми. 1 Communication on the Evaluation(SEC(2000) 1051). 10 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Ф ИГУРА 2. В ХОДНО ИЗХОДЕН МОДЕЛ НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ ���������� ��� ���������� ������� ��������� �������� ���������� ��������� ����������� ����������� Мониторингът и оценката се основават на един обобщен модел на разработване и осъществяване на публични политики и програми(Фигура 2). Той представя съотношението между поставените цели, вложените ресурси, извършените действия, постигнатите резултати и осъществените въздействия. Оценката на публичните политики и програми може да се извърши в различни перспективи, сред които най-често реализирани са: 1. Оценка на процеса. Оценява се как и до каква степен се изпълнява публичната политика и дали програмата функционира, както е планирано. Обикновено оценката засяга съответствието на извършваните дейности и интервенции със законовите и нормативните изисквания, съдържанието на програмата или плана за действие, професионалните стандарти или очакванията на обществото/заинтересованите страни. 2. Анализ на съотношението„разходи/ползи” и анализ на ефикасността на разходите. Това са анализи, при които се сравняват резултатите и постиженията на програмата с разходите(изразходваните ресурси) за тяхното получаване. Чрез анализа на съотношението „разходи/ползи” се определят целесъобразността на направените вложения и адекватността на получените ползи. Анализът на ефикасността на разходите оценява уместността на разходите за постигане на определена цел, за да се идентифицират най-изгодните възможности и начини за постигане на предвидените цели. 3. Оценка на резултатите. Оценява се до каква степен се постигат очакваните резултати на публичните политики и програми. Тази оценка се съсредоточава преди всичко върху резултатите и постиженията(включително странични, непланирани и нежелани ефекти), за да се прецени ефективността на програмата. Възможно е да се поставят и въпроси, свързани с оценка на качеството на продуктите и услугите, предоставени на различните целеви групи. При оценяването на постиженията може също да се оценят програмните процедури, за да се разбере как са получени резултатите или защо не са постигнати очакваните ефекти. 4. Оценка на въздействието. Оценяват се въздействията на публичната политика в различни аспекти, както и чистият ефект на определени програми. Могат да се сравнят ефектите от програмата с това, което би се случило, ако тя не се прилагаше. Тази оценка се използва, когато е известно, че върху резултатите от програмата влияят външни фактори, за да се разграничи приносът на програмата за постигане на нейните цели. Оценката в този случай е насочена преди всичко към степента на постигане на целите на политиките/програмите, а също и на постигнатите действителни в сравнение с очакваните резултати от прилагането на тези политики/програми. П ЪРВИ РАЗДЕЛ 11 Социеталната организация и културните особености на различните социални общности са основата, върху която се градят публичните политики и програми. Различните потребности, интереси, желания, вярвания и очаквания на хората са сред факторите, които определят характера на тяхната реакция към дейностите по прилагането на публичните политики и програми. Успехът и резултатите от една политика или програма зависят от много фактори и характеристики на целевите групи, изпълнителите и заинтересованите страни. В този смисъл мониторингът и оценката трябва да бъдат селективни и стратегически ориентирани, като се концентрират най-вече върху факторите, имащи значение за реализацията на конкретните политики и програми. Основните групи характеристики, които трябва да се вземат под внимание при оценката на публичните политики и програми, са: 1. Институционална, икономическа и социална организация на стопанската активност, обществените дейности, публичните услуги в сферата и на територията, където се реализира политиката или програмата. 2. Икономически и политически интереси на лицата, организациите и институциите, които са засегнати от политиката/програмата(целеви групи, заинтересовани страни, изпълнители). 3. Икономическа, социална и политическа приемливост на политиката/програмата и съответствието им с нуждите на целевите групи, заинтересованите страни и обществените цели. 4. Ефикасност и ефективност на реализацията на политиката/програмата, както и нейната устойчивост. Основен компонент на оценката на публичните политики/програми е социалният анализ. Той трябва да се осъществява с ангажиране на заинтересованите страни, като се вземат предвид техните потребности и интересите им, които се засягат. Социалният анализ може да се ориентира към определяне на ефектите от прилагането на политиките и програмите, както и към възможните решения и дейности за тяхното усъвършенстване. Най-често социалният анализ разглежда систематично няколко типа фактори, влияещи върху реализацията на публичните политики и програми: • демографски характеристики; • социално-икономически променливи; • социална организация на целевите групи; • обществено-политически контекст; • потребности, интереси и ценности на заинтересованите страни; • засегнати или оказващи влияние институции, организации, социални групи. Социалният анализ дава възможност да се оценят последиците и рисковете на дадена политика/програма, да се смекчат неблагоприятните последици от тяхното осъществяване, да се увеличи капацитетът на институциите, организациите и социалните групи, които осъществяват политиката/програмата или са повлияни от тях. 12 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Съдържанието на социалния анализ и оценка се определя във всеки отделен случай от характера и вида на дейностите и интервенциите, предвидени в съответната политика или програма. Анализът и оценката следва да бъдат селективни и фокусирани, защото съществуват различни променливи, които биха могли да повлияят на реализацията на политиката/програмата и на въздействието, което те оказват. Обхватът и интензивността на анализа и оценките за различните видове политики и програми също се определят в зависимост от предложените дейности за реализацията им. По-често срещаните въпроси, на които се търси отговор при мониторинга и оценката на публични политики и програми, са: • Какви са последиците от политиката/програмата за различните целеви групи, заинтересовани страни, засегнати общности? • Какво е разпределението на положителните резултати от политиката/програмата между отделните ползватели и други заинтересовани страни? • Има ли непредвидени и нежелани странични ефекти от осъществяването на политиката/програмата и какви са възможните мерки за тяхното неутрализиране? • Има ли рискове, които заплашват да осуетят успешната реализация на политиката/програмата? До каква степен възможностите за тяхното усъвършенстване се съчетават с избягване на рисковете за отрицателни последици? • Каква институционална и организационна среда е необходима за осигуряване участието на заинтересованите страни в осъществяването на политиката/програмата, тяхната оценка и развитие? • Има ли изграден капацитет за осъществяване на политиката/програмата на всички равнища, какво е необходимо за неговото увеличаване, за да се гарантира устойчивост на постигнатите резултати и въздействия? Чрез мониторинга и оценката могат да се идентифицират резултатите и приоритетните проблеми при осъществяването на определена политика/програма и да се определят начините, по които да се подходи към тяхното развитие. Обществените политики и програми не биха могли да бъдат ефективни и устойчиви без пълноценното включване и участие на основните заинтересовани страни и бенефициенти в тяхното разработване, изпълнение и оценка. Мониторингът и оценката дават възможност целевите групи и заинтересованите страни да се въвличат в самоопределяне на техните нужди, в предлагане на приложими решения, в мобилизиране на наличните ресурси при получаването на адекватна оценка за резултатите и страничните ефекти от реализацията на политиката/програмата. Интегрална част от процеса на мониторинг и оценка е ангажиментът за споделяне на резултатите с правителството, местните власти, неправителствените организации, целевите групи, заинтересованите страни, доставчиците на публични услуги и др. В България все още няма развита практика за консултиране и участие на всички заинтересовани страни, което поставя под въпрос възможността за ефективно използване на резултатите от осъществяваните мониторинг и оценка на публични политики и програми. П ЪРВИ РАЗДЕЛ 13 1.2. Цели и функции Мониторингът и оценката на публични политики и програми са инструменти на доброто управление при упражняването на политическа, икономическа и административна власт на всички равнища. За да бъдат полезни, те трябва да се разглеждат като неразделна част от процеса на вземане на решение и управление на цялостния цикъл на разработване, прилагане и оценяване на обществените политики и програми. Управлението е не само упражняване на власт, но съчетава и комплекс от социални механизми, процеси и институции, чрез които гражданите и групите изразяват своите интереси, артикулират своите различия, упражняват своите права и изпълняват своите задължения. Управлението се реализира преди всичко чрез дейността на публичните органи, но излиза извън техните предели, като се пренася в частния сектор и гражданското общество. Публичните органи създават благоприятна и легитимна политическа и правна среда, частният сектор създава работни места и доход, а гражданското общество улеснява политическото и социалното взаимодействие, мобилизира групите да участват в икономическите, обществените и политическите дейности. Всеки сектор има своите възможности и ограничения, затова от особено значение е конструктивното взаимодействие помежду им, включително и при мониторинга и оценяването на публични политики и програми. Ролята на мониторинга и оценката на публични политики и програми като инструменти на доброто управление може да се търси в няколко по-важни направления: 1. Те създават прозрачност – процедурите, институциите и информацията са пряко достъпни за заинтересованите страни и обществеността, като дават възможност да бъдат разбирани, наблюдавани и оценявани публичните политики и програми. Прозрачната система на управление има ясни процедури за публично вземане на решения и отворени канали за общуване между заинтересованите страни и обществените служители. 2. Мониторингът и оценката осигуряват отчетност – те предоставят информация в каква степен политиката/програмата постигат своите цели, доколко рационално са използвани публичните ресурси, какви са обществените въздействия и т.н. Така се дава възможност на заинтересованите страни да предоставят и да получават информация, която има решаващо значение за разкриването на злоупотреби и защита на интересите им. 3. Те гарантират отговорност на управлението – необходимо е институциите постоянно да се опитват да се съобразяват с интересите на всички целеви групи и заинтересовани страни при провеждането на политиките и програмите. Политиците и служителите в публичния сектор следва да отговарят пред заинтересованите страни и обществеността за упражняването на техните правомощия, да вземат мерки при критика или изисквания, поставени от гражданите, както и да поемат отговорност за грешки и некомпетентност. 4. Мониторингът и оценката подобряват качеството на изпълнението на публичните политики и програми, както и на постиганите 14 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ резултати, създаваните продукти и предоставяните услуги. Подобрява се и се развива капацитетът на реализиращите политиките и програмите институции, организации и общности. 5. Чрез мониторинга и оценката се създават механизми за участие – гражданите получават възможност да участват във вземането на решения по отношение на оценката и промените при реализацията на публичните политики и програми – пряко или опосредствано от легитимните институции, които представляват техните интереси. 6. Те са инструменти за постигане на съгласие – доброто управление отчита и съгласува различните интереси, за да постигне широко съгласие по това, кое е в интерес за общността и там, където е възможно – да се постигне съгласие по политиките и процедурите за осъществяването на програмите. В процеса на мониторинга и оценяването на публичните политики и програми заинтересованите страни получават възможност за влияние върху тях. 7. Мониторингът и оценката допринасят за ефективността и ефикасността на политиките/програмите и изграждането на стратегическа визия – институциите постигат резултати, които отговарят на обществените нужди, като използват наличните ресурси по най-добрия начин. Лидерите и обществеността изграждат широка и дългосрочна перспектива за добро управление и развитие. Отделните заинтересовани страни възприемат различни перспективи при оценяването и търсят отговор на различни въпроси. Например институциите, политиците и експертите, които планират и разработват публичните политики/програми, могат да се интересуват от тяхната ефикасност – как се разпределят и използват обществените ресурси между конкуриращи се цели и дейности, съществуват ли по-добри алтернативни начини за постигане на целите и изразходване на средствата, адекватни ли са направените разходи на получените резултати и др. Ако целта на оценката е ефективността и отчетността, релевантните въпроси, от които се интересуват парламентаристи, правителствени служители, донори, медии и граждани, са други – колко успешни са политиките и програмите, постигнали ли са те своите цели, какви са техните положителни и отрицателни въздействия и т.н. При оценка на качеството на изпълнението на програмите важните проблеми на оценката се отнасят до ефективното функциониране на управленските структури, правилното таргетиране и достъпността на политиките/програмите, осигуряването на качествени публични услуги, спазването на времевите графици и т.н. Понякога се допуска, че оценката може да се разглежда като насочена към една най-обща цел, която обхваща всички останали – чрез систематично изследване, анализ и научаване да се усъвършенстват разработването и прилагането на публичните политики и програми по най-ефикасния и ефективен начин. Този акцент произтича от постоянната необходимост да се получава ново знание за различни социално-икономически условия, които изискват различни комбинации от действия и интервенции за ефикасно и ефективно постигане на обществените цели. Важно е оценките да допринасят за изграждането на специфична култура, подкрепяща непрекъснатия процес на обучение и самообучение и извличане на уроци както от П ЪРВИ РАЗДЕЛ 15 постигнатите успехи, така и от провалите на публичните политики и програми. Резултатите от мониторинга и оценките подпомагат разработването на мерки и инструменти за развитие на съответната политика/ програма. Това е от особено значение за постигането на целите на политиката/програмата и тяхната дългосрочна устойчивост. Публичните политики и програми имат и своята социална цена, която трябва да бъде определена навреме с цел да се привлекат балансиращи ресурси. Предвиждането на социалната цена, идентифицирането на групите в риск и набелязването на облекчаващи мерки подкрепят изпълнението на политиката/програмата. Изпълнението на публичните политики и програми е социален процес, а не само последица от административни или технически решения. Обществената стратегия за изпълнението на политиката/ програмата трябва да даде отговор на въпроса как да се мобилизират, организират и координират обществените действия на различните заинтересовани страни, за да се превърне тя в реалност. Не може да се очаква всички засегнати страни да са съгласни с реализацията на определена политика/програма и активно да ги подкрепят. Мерките за изграждане на съгласие и доверие, решаването на конфликти и договарянето на приемливи възможности са области, в които мониторингът и оценката могат съществено да допринесат за успешното изпълнение на политиката/програмата. Мониторингът и оценката са средство не само за разбиране на проблемите, но и за намиране на осъществими решения. Те добавят здравословна доза реализъм в реакцията на управляващите в противоречиви ситуации. Социалните, икономическите и политическите механизми следва да бъдат идентифицирани и целенасочено мобилизирани за постигане на целите на политиките и програмите. За решаването на тези задачи мониторингът и оценката на политиките и програмите нямат заместител. Те са и функционално допълнение към традиционните икономически и технически анализи, като следва да съизмерват положителните икономически и технологични резултати с очакваните социални последици. При вземането на решения за извършване на реформи на публични политики е ясна необходимостта от икономически и финансов анализ с цел да се изчислят разходите и да се мобилизират необходимите ресурси. Когато се вземат решения за инвестиране в програми за икономически растеж, социалните рискове и социалните разходи трябва също задълбочено да се анализират. Мониторингът и оценката могат да бъдат и средство за оценка на социалните разходи, рискове и ползи, за определяне и смекчаване на социалната цена и на влиянието на тези елементи при осъществяването на политиките и програмите. В крайна сметка смисълът на мониторинга и оценката на публичните политики и програми е да се прецени дали е възможно да се повишат качеството на живота, благосъстоянието и възможностите за просперитет на гражданите. Мониторингът и оценката на публични политики и програми дават възможност на управляващите 16 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ да формулират приоритетите за развитие, като систематично се търси отговор на редица ключови въпроси, които имат значение за политиците, мениджърите, заинтересованите страни и гражданите: • Каква е значимостта на ефектите от реализирането на политиката или програмата за различните целеви групи и заинтересовани страни? • Съществуват ли сериозни рискове, застрашаващи изпълнението на политиката/програмата или успешното постигане на предвидените резултати? • Регистрират ли се непредвидени отрицателни последици от осъществяването на политиката/програмата? • Необходими ли са корекции(ако да – какви) в начина на реализиране на политиката/програмата? Осъществяването на публичните политики и програми е свързано с множество проблеми и редица рискове. Задачата е те да се идентифицират и да се вземат предвид, като се използват подходящите методи и инструменти за събиране, анализ и предоставяне на оперативно значима информация, предназначена за тези, които вземат решение. За да бъдат ефективни, мониторингът и оценката е желателно да се осъществяват още в ранните етапи на работата по съответната политика/програма и да продължат като постоянен итеративен процес по време на реализацията на политиката/програмата до извършване на заключителната оценка. П ЪРВИ РАЗДЕЛ 17 2. ВИДОВЕ ОЦЕНКИ НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Мониторингът и оценките на публични политики и програми, които се осъществяват в социалната практика, са изключително разнообразни. Съществуват различни критерии, по които те могат да бъдат типологизирани – например фази на политиката/програмата, в която се реализират; техните цели и методи; позицията на изпълнителите на мониторинга/оценката; териториалният им обхват; продължителността и степента им на задълбоченост и др. 2.1. Видове оценки според фазата на политиката/ програмата, в която се осъществяват Връзката между различните фази на осъществяване на публичните политики и програми с видовете оценки е пряка и позволява: • да се направи предварителна оценка на въздействието на политиката или програмата; • да се измери постигнатият напредък в процеса на тяхното прилагане; • да се оцени крайният ефект в сравнение с очакваните резултати. Тази връзка схематично е представена на Фигура 3. Ф ИГУРА 3. В РЪЗКА МЕЖДУ ОСНОВНИТЕ ФАЗИ НА ПУБЛИЧНИТЕ ПОЛИТИКИ И ПРОГРАМИ С ВИДОВЕТЕ ОЦЕНКИ Оценките следват логиката на реализация на политиките и програмите. Предварителните (ex ante) оценки подпомагат ����������� ���������� ��������������� идентифицирането на обществените потребности, формулирането на целите на публичните политики/програми, правилното ������������ ��������� ��������� им таргетиране, отчитане на рисковете и предизвикателства������������� ��������� ������ ����������� �������� ���������� ��������������� ����������� ��������� та. Те изпълняват диагностични функции, разкриват тяхната целесъобразност и приложимост, подпомагайки разработването им. Текущите и междинните (ongoing, mid-term) оценки проследяват напредъка на осъществяваните политики/програми и качеството на тяхното изпълнение. Заключителните и последващите(ex post) оценки се фокусират върху постигнатите резултати и осъществените въздействия. Невинаги обаче се получава пълно съгласуване между програмния цикъл и извършваните оценки. Понякога предварителните оценки могат да се реализират твърде късно, за да подпомогнат формулирането на политиките или разработването на програмите. Възможно е да се променят вече започнали програми, когато оценките са в ход, а избраните методи, критерии и индикатори не са релевантни на направените изменения. Затова е от изключително важно значение оценките да бъдат правилно съгласувани с фазите на реализация на публичните политики и програми. 18 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Предварителни(ex ante) оценки Този тип оценки обикновено се извършват още при формулирането на публичните политики и разработването на програмите, като предшестват тяхното осъществяване. Те подпомагат определянето на целите, средствата, инструментите и ресурсите, в чиито рамки политиката или програмата ще се реализира. Чрез тях в по-голяма степен се гарантират реалистичността, адекватността и кохерентността на политиките/програмите. Тяхното основно предназначение е и да оценят предварително възможните последици от осъществяването на политиките, да вземат предвид потребностите и очакванията на заинтересованите страни, да оценят съществуващите рискове и потенциалните конфликти. Предвиждането на обществени договорености и на обществено участие в изпълнението на политиката/програмата, вкл. колективни социални действия, може да бъде съществен проактивен принос към дизайна на политиката/програмата и към стратегията за изпълнението й. Този принос трябва да се превърне в неразделна част на подготовката и последващото прилагане на политиките и програмите. Основна функция в тази начална фаза е диагностицирането на потребностите, интересите и желанието за подкрепа на политиката или програмата от страна на заинтересованите страни, което увеличава шансовете за успешната им реализация. Предварителните оценки създават и база за оценка на последващия мониторинг, текущите и заключителните оценки, като формулират експлицитно измерими цели и оценъчни критерии. В същото време те често са предмет на сериозни ограничения – недостатъчно време, изисквания за конфиденциалност, политически и лобистки натиск, неясно формулирани политически цели и др. Поради тази причина оценителите трябва да бъдат способни да предприемат бързи, гъвкави и адекватни действия, да прилагат релевантни методи и техники на анализ и оценка, да подкрепят поставянето на ясни и достижими обществени цели, резултати и въздействия. Текущи(ongoing) оценки Текущото оценяване, което често се основава на информация, получавана от постоянен мониторинг, се осъществява по време на прилагането на публичните политики и програми. Чрез мониторинга и текущите оценки могат да се измерят на един по-ранен етап разпределението на въздействията на политиките/програмите, да се минимизират или смекчат негативните въздействия и рискове, да се насърчи допълнително участието на заинтересованите страни. Чрез тях се идентифицират възникнали проблеми при реализацията на политиките/програмите, отклонения от предвидения курс на действие или очаквани резултати, възникнали непредвидени отрицателни ефекти и т.н. Междинната оценка може да се осъществи след приключване реализацията на дадена фаза на политиката/програмата, за да се оцени нейният ход до този момент и да се внесат корекции за следващия етап. В зависимост от направените изводи при оценката е възможно да се предложат промени в изпълнението на политиките/програмите. Чрез сравнение с изходната ситуация може да се П ЪРВИ РАЗДЕЛ 19 прецени дали предвидените действия и интервенции са релевантни на променящите се социално-икономически условия. Това позволява, ако е необходимо, да се предложат аргументирано адекватни промени в целите, съдържанието, мерките, сроковете на политиката/програмата. Текущият мониторинг и оценки осигуряват надеждни обратни връзки към управляващите и изпълнителите, като създават условия за по-добро управление, усъвършенстване и развитие на публичните политики и програми. Концепцията за текущо оценяване е изключително гъвкава и от управляващите програмата зависи какво, кога и как да бъде оценявано. Все пак е добре да се изготви предварително план за предстоящите текущи оценки, който в много случаи има дългосрочен хоризонт. В него индикативно се посочват продължителността, броят, темите, разполагаемите ресурси, начините на възлагане, обхватът(национален, регионален, европейски и т.н.) и други важни параметри на предвижданите оценки. Възможно е да се извършват и задълбочени оценки на конкретни мерки или области на интервенция. Така мониторингът и текущите оценки дават възможност да се установи какво„работи” и какво не в реализираните политики и програми, така че да се потърсят подходящи„лекарства” за регистрираните проблеми. Заключителни и последващи(ex post) оценки Чрез заключителните оценки се прави рекапитулация на цялостната реализация на политиката/програмата, на получените резултати и осъществените въздействия. Те имат за цел да установят как са използвани обществените ресурси, каква е ефикасността на извършените интервенции, в каква степен са постигнати предвидените цели. Анализират се факторите за постигнатия успех или провал, за устойчивостта на резултатите и въздействията на политиката/програмата. Правят се обобщени изводи, които могат да бъдат валидни и при реализацията на други сходни политики или програми. Невинаги въздействията могат да се идентифицират и измерят непосредствено след приключване на програмата и понякога това се прави дори няколко години по-късно. Срокът за реализация на тези оценки обикновено е от 12 до 18 месеца. Оценката на въздействията е изключително сложен процес, който ще бъде специално разгледан във втората самостоятелна част на учебно-методическото ръководство. 2.2. Видове оценки според методологическия подход и поставените цели Разграничават се няколко различни методологически подхода при извършването на оценки на публични политики и програми, които имат специфичен фокус и ориентация: Първо, разпределение и използване на ресурсите – както при разработването на политиките/програмите(как ще бъдат използвани ресурсите), така и ретроспективно(как са били изразходвани ресурсите). Пример за това е анализът„разходи – ползи”(cost-benefit analysis), ориентиран най-вече към оценка на икономичността и ефикасността на публичните политики/програми. 20 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Второ, изработване на стандарти и/или измерими цели – формулират се критерии и показатели, чрез които се преценяват успехът, качеството на реализация и въздействието на политиката/програмата. Например оценката на показатели(benchmarking), ориентирана към степента, в която са постигнати определени цели, е такъв метод. Той е насочен най-вече към оценка на ефективността и въздействието на публичните политики/програми. Трето, разбиране и обяснение – търси се обяснение на въздействията на политиката/програмата и причинни връзки с нейните елементи и извършените интервенции(какво, как, кога, при какви условия„работи” добре). Илюстрация на този подход, насочен към по-добро качество на изпълнението на публичните политики/програми, са тематичните оценки на различни конкретни интервенции в дадена област и идентифицирането на това, кои от тях и защо са били успешни или неуспешни при дадените обстоятелства. Четвърто, промяна и саморегулиране – предоставя по-комплексна обратна връзка за осигуряване на самокоригиране и развитие на политиката/програмата в хода на нейната реализация. Мониторингът и текущото оценяване, които предоставят обратна връзка за прилагането на политиката и изпълнението на програмата с оглед на извършването на корекции и промени, илюстрират този подход, съдействащ за усъвършенстване разработването и прилагането на публичните политики и програми. Пето, включване и участие – насочен е към сътрудничество и развитие на партньорства, мрежи, общности и територии чрез активно привличане в оценяването на всички заинтересовани страни. Консултативните, теренните и семинарните методи, ориентирани към активното включване на заинтересованите страни в разработването, прилагането, мониторинга и оценката на политиките/програмите, са пример за този подход. Те ще бъдат разгледани по-подробно във втора глава. Обект на специално внимание във втората част на учебно-методическото ръководство ще бъде оценката на социалното въздействие (social impact assessment). Този тип оценки могат да се осъществяват както преди стартирането на политиките и програмите, така и по време на тяхната реализация и след тяхното приключване. Оценката на социалните въздействия обхваща всички социални и културни последици за гражданите от осъществяването на публичните политики/програми, които променят начините, по които хората живеят, работят, отнасят се едни към други, организират посрещането на нуждите си и най-общо участват в живота на дадена общност. Културните въздействия се отнасят до промени в нормите, ценностите и вярванията, които ръководят поведението, нагласите, възприятията на хората и представите им за общността, в която живеят. Оценката на социалните въздействия анализира ценностите, подходите и предпочитанията на хората по отношение на използването на ресурсите, както и способността им да приемат реализираната политика/програма и да участват в нея. П ЪРВИ РАЗДЕЛ 21 2.3. Видове оценки според позицията на оценителите Мониторингът и оценката на политики и програми могат да бъдат както вътрешни (осъществявани от служители в съответната администрация), така и външни (извършвани от независими експерти). При вътрешните мониторинг и оценка вниманието се фокусира предимно към разпределянето и използването на ресурсите, изразходването на финансовите средства, качественото и срочно изпълнение на предвидените дейности и интервенции, възникването на непредвидени събития, налагащи промени в прилагането на политиката/ програмата, установяването на осъществения напредък в прилагането на политиката/програмата. Предимствата на вътрешните оценки са свързани с използването на собствени ресурси, които могат да се оптимизират, изграждането на капацитет за управление на програмите, по-голяма оперативност и др. Външните мониторинг и оценка се извършват от независими от съответната администрация местни или чуждестранни експерти или юридически лица. Те в по-голяма степен осигуряват обективност, независимост, откритост и прозрачност за процеса на оценяване и неговите резултати. С по-голяма вероятност външните оценители биха регистрирали и съобщили за несъответствия с приетите правила, нередности или злоупотреби при управлението на финансовите средства. В някои случаи съответната администрация не разполага с необходимия експертен потенциал, което налага използването на външно оценяване. Изборът между вътрешно или външно извършване на мониторинга/оценката се определя от редица фактори – цел на оценката, срокове, разполагаеми ресурси и др. В определени ситуации(например при оценките на програми по европейските структурни фондове) мониторингът и оценката се осъществяват от смесени мониторингови комитети, включващи представители на държавните органи, на финансиращата институция и независими експерти. 2.4. Видове оценки според териториалния обхват В зависимост от своя териториален обхват съществуват четири основни типа мониторинг и оценки: • Международни. • Осъществявани на национално равнище. • Осъществявани на регионално равнище(район за планиране, област). • Осъществявани на местно равнище(общини, населени места, селищни образувания). Международните мониторинг и оценки се осъществяват по отношение на политики и програми, които се реализират от няколко национални държави или от международни организации. Например приетите от ООН Цели на хилядолетието за развитие(Millennium Development Goals) задават 18 ключови цели, които трябва да бъдат достигнати от всички страни – членки на организацията през 2015 г. и степента на тяхното постигане системно се следи и оценява. 22 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ В рамките на Европейския съюз мониторингът и оценката на политики, програми и проекти са стимулирани от изискванията на кохезионната политика на Европейския съюз. Още през 1999 г. Европейската комисия(ЕК) публикува поредица от методически ръководства, известна като MEANS колекция, която се превръща в основен текст за оценителите в Европейския съюз. Впоследствие е приет и финансов регламент, който изисква задължително провеждане на предварителни и заключителни оценки на програмите, финансирани от европейски фондове, които са свързани със значителни разходи. Въведено е изискването за осъществяване на оценки на въздействието. През 2005 г. е разработено и„Ръководство за оценка на въздействието”, което заменя приетите по-рано„Оценка на въздействието в Комисията – ръководство” от 2002 г. и„Наръчник за оценка на въздействието в Комисията – как да се провежда оценката на въздействието”. Систематичната оценка на вероятни въздействия на варианти на политики винаги е желателна, но не е възможно или необходимо да се изготвя официален доклад за оценка на въздействието във всички случаи. Официална оценка на въздействието е необходима за точки от Работната програма на Комисията 2 . Това се отнася до всички регулаторни предложения, бели книги, разходни програми и насоки за водене на преговори по международни споразумения(с икономически, социални и екологични въздействия), които са в Работната програма 3 . В допълнение след разглеждане на всеки отделен случай Комисията може да реши да се проведе оценка на въздействието на предложение, което не е в нейната Работна програма. Европейската комисия разработва и методическо ръководство за оценка на социално-икономическото развитие 4 , пряко свързано с регулациите на европейските структурни фондове, които са основен двигател за разпространяването на практиките на мониторинг и оценка в ЕС. За всички фази на програмния цикъл и свързаните с него оценки(предварителни, текущи, заключителни и последващи) са формулирани ясни цели и отговорности. След първите стъпки през 1988 г. вече е изработен цялостен и системен подход към оценяването на използването на европейските структурни фондове, включващ: 1. Законово задължение да се извършват оценки. 2. Споделяне на отговорността между различни управленски равнища за цялостния процес на оценяване. 3. Взаимосвързан многостепенен процес на оценяване(предварителни, текущи, междинни, заключителни и последващи оценки). 4. Партньорство при реализацията на програмите и тяхното оценяване. 5. Ясни връзки между оценяването, програмирането и разпределянето на ресурсите. 2 COM(2005) 97. 3 COM(2002) 276. 4 GUIDE to the Evaluation of Socioeconomic Development; http://ec.europa.eu/regional_policy/sources/docoffic/working/sf2000_en.htm П ЪРВИ РАЗДЕЛ 23 От 2008 г. е достъпен и онлайн ресурс, предоставящ методически указания за оценка на социално-икономическото развитие 5 . Той се съпътства от допълнителни материали(Sourcebooks) 6 в помощ на специалистите и практиците. В страните членки също са разработени ръководства за извършване на оценки на национални публични политики и програми. Мониторингът и оценките на национално равнище се отнасят до разработването на определени широкообхватни политики, реализирането на значими национални програми(инфраструктурни, инвестиционни, трансгранични и т.н.), законодателни инициативи и др. Като правило мониторингът и оценяването на публични политики и програми се разглеждат като отделна управленска функция, която се извършва от обособена организационна единица в различни административни структури на изпълнителната власт. В някои случаи тази функция е ситуирана в звената, занимаващи се със стратегическо планиране и програмиране. Запазвайки своята независимост, екипът, който извършва мониторинг и оценка на публичните политики и програми, трябва да си сътрудничи тясно с разработващите политиките или програмите. В подкрепа на системното извършване на оценки на публичните политики и програми на национално равнище са разработени и методически ръководства. Във връзка с изпълнението на проект ФАР BG-0103.01„Стратегическо планиране и координация” консорциумът „Sema-Agrer-ENA” и администрацията на Министерския съвет на Република България, бенефициент по проекта, бяха изготвени и издадени три ръководства и един наръчник: 1. Ръководство за стратегическо планиране и разработване на политики в България. 2. Ръководство за обществени консултации в България. 3. Ръководство за оценка на въздействието в България. 4. Наръчник за прилагане, мониторинг и оценка на политики и законодателство в България. Както беше посочено, провеждането на националните публични политики често е свързано с приемането на закони и други нормативни актове. Те също подлежат на оценка, която най-често се означава като„оценка за въздействието на регулациите”. Понятието „регулация“ най-често означава правила за поведение, установени с нормативен акт или с незадължителни регулаторни инструменти. По проект на Асоциацията за мониторинг на управлението е разработен и практически наръчник за оценка въздействието на регулациите 7 . Неговата цел е да предостави практическо ръководство за извършване на предварителна и последваща оценка на ефективността и ефикасността на регулациите от гледна точка на поставените цели и обществения интерес. 5 EVALSED: The Resource for the Evaluation of Socio-Economic Development; http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/index_en.htm 6 http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/index_en.htm 7 Пашев К., Н. Вълев, Р. Брусарски, Оценка на въздействието на регулациите. Практически наръчник, Асоциация за мониторинг на управлението, УИ„Св. Климент Охридски“, С., 2007. 24 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Мониторингът и оценките на регионално и местно равнище могат да се типологизират по два принципни критерия: 1) според административното деление(по административни единици) и 2) според териториалното деление(по териториални единици). Според първия критерий те могат да обхванат област, община, кметство или район, а според втория – едно или няколко населени места или селищни образувания(например населено място, промишлена зона, курортен комплекс и др.). В този случай обикновено става дума за конкретни проекти, които няма да бъдат обект на анализ в настоящото учебнометодическо ръководство. При осъществяването на мониторинг и оценка трябва да се има предвид и цикълът на управление на политиките и програмите в България. Честа практика е те да се развиват от стратегии или политики на централно ниво към програми на междурегионално или регионално ниво до проекти на местно ниво. П ЪРВИ РАЗДЕЛ 25 3. СПЕЦИФИКА НА НЯКОИ ВИДОВЕ ОЦЕНКИ НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ В тази точка са представени накратко три специфични вида оценки на публични политики и програми: 1.„Бърза“ оценка(rapid appraisal; rapid assessment). 2. Одит на изпълнението. 3. Оценка на показатели(benchmarking). Тези оценки се прилагат широко в дейността на различни международни институции(например Световната банка, ПРООН, УНИЦЕФ и др.), на национални държавни органи(например Сметната палата), както и от много неправителствени организации. Въпреки че практиката на извършване на подобни оценки в България все още е ограничена, те вече се използват и в нашата страна. Краткото описание на тяхната специфика има за цел да покаже сферите им на приложимост, техните възможности и ограничения. 3.1.„Бързи“ оценки (Rapid Appraisal, Rapid Assessment) „Бързата” оценка е итеративен изследователски процес за извършване на оценка на политика или програма в кратки(обикновено до 3 месеца) срокове. Нейната цел е по-скоро да обхване оценяваната политика или програма в нейната цялост и от гледна точка на вътрешната й перспектива, без да се опитва да опише статистически съставните й части. Тази оценка е добър инструмент за изучаване на потребностите, интересите и нагласите на целевите групи на публичните политики и програми.„Бързата” оценка до известна степен е и механизъм за овластяване на целевите групи и заинтересованите страни, като предоставя възможност за тяхното участие в процеса на планиране, разработване, прилагане и оценяване на политиката/програмата. Това създава допълнителни предпоставки за постигане на устойчиви резултати и обществени въздействия. Формалните количествени изследователски методи притежават научна валидност и представителност, но в немалко случаи те предлагат информация със закъснение и/или на твърде висока цена.„Бързата” оценка като правило е по-евтина и се осъществява в по-кратки срокове предимно с използване на качествени методи за събиране на информация и анализ. Тя може да предостави на управляващите разнообразна, навременна, точна и полезна информация. Същевременно предлага възможности за участие, включително на хора от определени местни общности, потенциални бенефициенти, уязвими групи и други, като пълноправни членове на екипа, извършващ оценката на политиката или програмата. Това е особено важно, когато се изискват осмисляне и разбиране на ситуацията от гледна точка на целевите групи и заинтересованите страни. 26 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Основни принципи на„бързите оценки” Осъществяването на„бързи оценки” се базира на няколко основни принципа: 1. Системна перспектива. Елементите на системата, която е обект на регулиране, въздействие и/или оценка, понякога могат да бъдат прецизно дефинирани преди реализирането на определена политика или програма. Освен това невинаги е възможно да се определят предварително онези нейни елементи, които са най-важни за разбирането на проблемната ситуация, породила необходимостта от разработване на определена публична политика/програма.„Бързата” оценка подпомага създаването на адекватна и точна представа за проблемната ситуация, като взема предвид мнението на заинтересованите страни и целевите групи. Чрез нея оценяващият екип може да идентифицира онези елементи на системата, които имат особено значение в съответния контекст. Цели се да се определят основните фактори и„ключовите актьори”, които могат да опишат цялостно системата извън границите на личните им възприятия и интереси. Когато за изходна точка се възприеме перспективата на системата, не е целесъобразно да се започва с разработването на изследователски инструментариум(въпросници, сценарии и т.н.), защото не се знае предварително кои аспекти на политиката/програмата ще бъдат определени като значими, какви ще бъдат основните приоритети и кои ще бъдат релевантните въпроси при провеждането на оценката. 2. Триангулиране 8 . Този принцип изисква да се съчетават систематично наблюденията на членове на екипа с различен опит и използващи различни изследователски и аналитични методи. Предполага се, че в повечето случаи няма„най-добър” начин за събиране на информация, а дори да съществува такъв, той не може да бъде предвиден.„Бързата” оценка взема предвид гледните точки на различни целеви групи и заинтересовани страни, като ничии лични впечатления не се възприемат за общовалидни, най-достоверни и най-прецизни. При„бързата” оценка задължително се съпоставят данните, получени от различни източници и посредством различни методи. Например при извършването на оценка на програма за развитие на определен регион трябва да се вземат под вниманието мнението, интересите и очакванията на различни заинтересовани страни – представители на местните органи на властта, местно население, финансиращи организации, изпълнителски фирми, други ползватели, средства за масово осведомяване. Така се създава възможност да се отчете широк спектър от предразсъдъци на хората, техните ограничени източници на информация, възможностите на различните изследователски техники и др. Използват се разнообразни методи, които са най-адекватни за събиране на информация от и за съответните институции и групи, например: дълбочинни интервюта с областни управители, кметове и общински съветници; полустандартизирани интервюта с представители на финансиращата и изпълняващата проекта организация; струк8 Терминът произхожда от навигацията и е свързан с определяне на позиция или местоположение на определен обект, като се съотнесат познати точки. П ЪРВИ РАЗДЕЛ 27 турирани интервюта с местни жители на общината; групови дискусии с ползватели на резултатите от програмата и др. 3. Итеративен процес. „Бързата” оценка е итеративен процес, в който участват както оценяващият екип, така и целевите групи, заинтересованите страни, изпълнителите на политиката/програмата. Събраната информация влияе и променя процеса на оценяване. Оценителите обикновено започват със събиране и анализ на статистическа информация и вторични данни, а впоследствие прогресивно разширяват знанието и задълбочават разбирането си, като получават нова информация и споделят помежду си нейните възможни интерпретации.„Бързата” оценка може да се опише като отворена система, която използва обратната връзка, за да„се учи” от своята среда и прогресивно да се саморазвива. Важно е това усилие да бъде правилно структурирано и насочвано така, че да стимулира участниците в оценката към креативност и гъвкавост, за да могат да променят посоката и акцентите на оценката едновременно с разширяване на познанието и развитие на разбирането им за политиката/програмата. Прилагането на„бързи” оценки е оправдано и целесъобразно, когато е необходимо: • да се опише ситуацията, в която ще се реализира съответната политика или програма; • да се разберат отношенията или мотивациите на различни целеви групи и заинтересовани страни; • да се оцени политиката или програмата при недостиг на ресурси (финансови, човешки или времеви); • да се разработят въпроси за последващо формално изследване, анализ и интерпретация на количествени данни; • да се формулират предложения и препоръки за промяна на провежданата политика/програма. Понякога валидността на резултатите и изводите, получени чрез„бърза оценка”, се поставя под съмнение.„Бързите оценки” като правило не осигуряват представителност на информацията и използват главно качествени методи за събиране и анализ на данни. Качествената информация обаче трудно се поддава на количествена обработка и анализ, което понякога предизвиква скептицизъм у вземащите решения. Личната преценка на членовете на оценяващия екип също може да окаже въздействие върху проучването и те да„чуят” само това, което искат. Ефективната„бърза” оценка изисква получаването на множество гледни точки и преценки, което прави подхода адаптивен и гъвкав. Тази флексибилност помага да се задълбочат разбирането на политиката/програмата, нейните основни цели и ключовите й елементи, но също така може да възпроизведе съществуващи предразсъдъци или да доведе до субективни изкривявания. Надеждността на резултатите от„бързата” оценка може да се повиши, ако се спазват някои правила при нейното осъществяване. В началото трябва да се изработи ясна и логична концептуална рамка на оценката. Задължително е да 28 3.2. Одит на изпълнението М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ се използват няколко различни метода за събиране на информация и анализ, като получената чрез тях информация се сравнява, проверява и допълва. Освен това е целесъобразно в оценяващия екип да бъдат включвани най-малко две групи членове – външни и вътрешни за оценяваната система. „Бързите” оценки не предлагат информация, от която могат да се правят генерални и всеобхватни заключения. Те обогатяват картината, но не описват статистическата разпространеност на едно явление. Важно ограничение на„бързите” оценки е, че управляващите трудно се доверяват на техните резултати. Често се предпочита прецизността на по-пълните и представителни описания и анализи на оценяваните обществени явления, публични политики или програми. Това налага да се полагат специални усилия за информиране на вземащите решения за резултатите от„бързата” оценка и да се убедят в полезността на получената информация. Одитът на изпълнението е независима оценка, извършвана от националните върховни одитни институции(например Сметната палата на Република България) на публични политики и програми по отношение на икономичността, ефикасността и ефективността им, чрез което се цели тяхното усъвършенстване. Обектите, предмет на одит на изпълнението, са както политики или програми, така и конкретни институции и организации, свързани с тяхната реализация. Политиките и програмите могат да имат акцент, засягащ конкретна организация, нейните вътрешни действия, постигането на определени специфични цели. В повечето случаи обаче техният обхват е по-широк и се разпростира до въздействията на политиката/програмата върху обществото посредством дейностите на множество публични, частни и неправителствени организации. Одитът на изпълнението се отнася до няколко ключови аспекта на оценяваните политики, програми или институции: а) одит на икономичността на извършваните дейности по оценяваната политика или програма от съответните публични институции в съответствие с добрите административни принципи и управленски практики; б) одит на ефикасността на използването на финансовите, човешките, техническите и други ресурси, включително оценяване на мерките за изпълнение на мониторинга и процедурите, прилагани от одитираните обекти, за преодоляване на констатирани недостатъци; в) одит на ефективността по отношение постигането на целите на политиката/програмата, а също и оценка на действителните резултати и въздействия в сравнение с очакваните. Одитът на изпълнението се основава на взетите решения или поставените цели и може да бъде осъществяван в целия публичен сектор. Публичната отчетност означава, че министерствата или ръководителите на публични програми са отговорни за ефективното и ефикасно- П ЪРВИ РАЗДЕЛ 29 то им управление. Отчетността предполага прозрачност и публичен поглед върху дейностите по съответните политики/програми или на държавните институции, които ги реализират. Одитът на изпълнението е начин законодателите, държавните органи, данъкоплатците, финансистите, медиите и обикновените граждани да упражнят контрол и да получат представа за изпълнението на различните публични политики/програми и техните резултати. Одитът на изпълнението дава и отговори на важни въпроси – например дали се получават максимални резултати от вложените средства, или е възможно те да бъдат разходвани по-добре и по-разумно. Законността и доверието са основни ценности, валидни за всички публични дейности, а одитът на изпълнението може да допринесе за тяхното утвърждаване чрез предоставяне на публична и надеждна информация за степента на икономичност, ефикасност и ефективност на публичните политики и програми. Това се улеснява от факта, че той е независим от държавните ведомства(министерства, агенции, местни органи на властта и др.), чиито дейности подлежат на одит. По този начин се получава независима и обективна оценка за изпълнението на политиката/програмата. Одитът на изпълнението не представя и не защитава определени ведомствени, групови или частни интереси и не е свързан финансово или по друг начин с одитираните обекти. Чрез изготвянето на независими оценки той може също да служи като основа на решения за бъдещи политики или програми. Значението и полезността на този метод се основават на получаването на достоверна и надеждна информация чрез независими анализи и оценки на изпълнението на политиките/програмите в публичния сектор, предоставящи възможности за промяна. Ключовите елементи при осъществяването на одита на изпълнението могат да се обобщят по следния начин: • Първо, важно е да се оценят икономичността, ефикасността и ефективността на правителствените политики, програми и дейности, като одитът допринася за по-добро разходване на обществените средства, получаване на по-добри публични услуги, по-добро управление, прозрачност и публична отчетност. • Второ, важно е да се разполага с надеждна и независима информация. Одиторите трябва да представляват обществените интереси, да мислят и да действат независимо, за да разкрият, анализират и оценят обективно успехите и недостатъците на публичните политики и програми. • Трето, важни са наблюдението и вникването в публичните дейности и във възможностите за подобряване на тяхното изпълнение, което изисква висока компетентност на одиторите. При одита на изпълнението се търси отговор на няколко основни въпроса: 1. Действа ли се по правилния начин? 2. Извършват ли се правилните действия? 3. Постигат ли се набелязаните цели? 30 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Първият въпрос проверява дали свързаните с политиката/програмата решения са изпълнени правилно. Този въпрос обикновено се отнася до нормативната рамка, т.е. анализира се дали при реализацията на политиката/програмата са спазени нормативните изисквания и процедури. За да се разшири анализът, вторият въпрос се интересува дали извършените дейности са най-подходящите, дали се предприемат правилните действия, дали възприетата политика е приложена както трябва, дали са използвани подходящите средства. Например преценява се дали дадена мярка е съвместима и адекватна на поставените цели. В този контекст одитът на изпълнението е свързан главно с различни аспекти на икономичността или ефикасността на изпълнението. Третият въпрос се отнася до ефективността или въздействието на политиката/програмата върху обществото. Основният акцент обикновено се поставя върху степента, в която са постигнати целите на политиката/програмата. Възможно е да се оценят и рисковете дадена политика или избрана мярка за постигане на определена цел да бъде оспорвана. Както бе посочено, одитът на изпълнението проучва главно икономичността, ефикасността и ефективността. При равни други условия икономичността се свързва с поддържане на ниски разходи, ефикасността – с постигане на най-голям или най-добър резултат с наличните ресурси, а ефективност означава преди всичко постигане на поставените краткосрочни или дългосрочни цели. Отделният одит на изпълнението може да има за цел да изследва един или повече от тези три аспекта. Икономичност – поддържане на ниски разходи Според одитните стандарти икономичност означава свеждане до минимум на разходите на използваните за дадена дейност ресурси, като същевременно се осигурява добро качество. Одитите на икономичността могат до отговорят на въпроси като: • Дали избраните средства, вложените ресурси или придобитото оборудване представляват най-икономичното разходване на публични средства? • Използвани ли са икономично човешките, финансовите или материалните ресурси? • Извършени ли са дейностите по управлението в съответствие с добрите административни принципи и управленски практики? Ефикасност – получаване на максимални резултати от наличните ресурси Ефикасността е свързана с икономичността, като се обръща внимание преди всичко на начина, по който са изразходвани вложените ресурси. Основният въпрос е дали тези ресурси са използвани оптимално или пък е било възможно да се постигнат с по-малко ресурси същите, или подобни резултати от гледна точка на качеството и времето за изпълнение. Анализира се дали чрез вложените ресурси и извършените действия са получени максималните резултати от гледна П ЪРВИ РАЗДЕЛ 31 точка на тяхното количество и качество. Въпросът засяга, от една страна, съотношението между количеството и качеството на предоставените продукти и услуги, а от друга, стойността на използваните за тяхното производство ресурси, за да се постигнат определените резултати. Всяка преценка на ефикасността обикновено е относителна, като сравнително рядко неефикасността е очевидна. Изводи за ефикасността могат да се правят чрез съпоставяне с подобни дейности, с други периоди или с възприет стандарт. Понякога са приложими и еталони за оценка като„най-добри практики”. Оценките на ефикасността могат да се основават и на условия, които не са свързани с конкретни стандарти или такива липсват. В подобни случаи оценките трябва да се основават на най-надеждните налични данни и доказателства в съответствие с извършения по време на одита анализ. Одитът на ефикасността обхваща аспекти като: • дали човешките, финансовите и другите ресурси са използвани оптимално; • дали публичните политики и програми са управлявани, регулирани, организирани, изпълнявани, наблюдавани и оценявани ефикасно; • дали публичните услуги са извършвани качествено, своевременно и в полза на целевите групи; • дали целите на публичните политики и програми са постигнати с ефективно разходване на средства при максимална възвръщаемост. Ефективност – постигане на поставените цели Оценката на ефективността е свързана със степента, в която дадена публична политика, програма или организация постига поставените цели. Тя засяга съотношението между поставени цели, постигнати резултати и осъществени въздействия. Търси се и отговор на въпроса, дали поставените цели са постигнати посредством използваните средства и извършените действия. Важно е да се разбере дали постигнатите резултати и наблюдаваните въздействия наистина са следствие от реализацията на политиката/програмата, а не от други обстоятелства. Въпросът за ефективността има две съставни части: първо, дали целите на политиката/програмата са постигнати и второ, дали това се дължи на осъществяваната политика/програма. За да се прецени до каква степен са постигнати целите, те трябва да се формулират по начин, който прави възможна такава оценка. Това не може да се извърши с неясно формулирани или абстрактни цели. В идеалния случай се извършва сравнение между ситуацията преди и след осъществяването на политиката/програмата и спрямо контролна група, по отношение на която тя не е прилагана. На практика е трудно да се направят подобни сравнения, защото често липсва сравнителен материал. Друга възможна цел на одита може да бъде оценката на степента, в която са достигнати целевите групи или предвиденото качество на изпълнение. 32 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Одиторът може да оцени или да определи ефективността и чрез сравняване на резултатите или въздействието със заложените в политиката/програмата цели. Този подход често се нарича анализ на постигане на целите. Когато се одитира ефективността обаче, трябва да се определи и до каква степен използваните интервенции, мерки и инструменти действително са допринесли за постигане на целите на политиката. Това е одит на ефективността в истинския смисъл на думата. За него са необходими доказателства, че наблюдаваните резултати и въздействия наистина са възникнали като следствие на интервенциите на политиката/програмата, а не поради някакви други фактори. Например, ако целта на политиката/програмата е да се намали престъпността или корупцията, се преценява дали констатираното намаление е възникнало в резултат на нейната реализация, или се дължи на общото подобряване на политическия и икономическия климат, върху който политиката/програмата няма пряко влияние. В такива случаи одитът на изпълнение трябва да бъде в състояние да се справи с ефективното изключване на въздействията върху резултатите на външни за политиката/програмата фактори. Отделен аспект на одита на изпълнението са непреднамерените странични ефекти от реализацията на политиката/програмата. Проучването на страничните ефекти се усложнява от факта, че те могат да бъдат твърде разнообразни, тъй като не са ограничени от целите на политиката. Един от възможните подходи е да се акцентира върху онези странични ефекти, които би трябвало да бъдат избегнати (например неблагоприятни екологични последици от определена политика, стимулираща ядрената енергетика). Това не означава обаче, че всички странични ефекти са нежелани. Одитът на ефективността може да бъде ориентиран в различни направления: • да се оцени дали публичните политики/програми са ясни и последователни; • да се оцени дали целите и осигурените средства(правни, финансови и т.н.) са адекватни, целесъобразни и подходящи; • да се оцени ефективността на организационната структура и управленската система за изпълнение на политиката/програмата; • да се оцени дали политиката/програмата допълва, дублира, припокрива или противоречи на други свързани политики/програми; • да оцени дали качеството на предоставените публични услуги отговаря на очакванията на хората или на поставените цели; • да се оцени адекватността на системата за измерване, проследяване и отчитане на ефективността на програмата; • да се оцени ефективността на публичните инвестиции и програми и/или отделни техни елементи, т.е. да се оцени дали са изпълнени техните цели; • да се определят факторите, възпрепятстващи задоволителното постигане на целите; • да се анализират причините за наблюдаваните проблеми при осъществяване на политиката/програмата; • да се идентифицират алтернативни подходи за постигане на по- П ЪРВИ РАЗДЕЛ 3.3. Оценка на показатели (benchmarking) 33 добро изпълнение или отстраняване на фактори, които намаляват ефективността на политиката/програмата. Въпреки че не е задължително да се достигне до заключения и за трите разгледани аспекта на одита(икономичност, ефикасност и ефективност), ползата от изолираното изследване на икономичността или ефикасността на дейностите може да бъде ограничена. Обратно, при одит на ефективността е целесъобразно да се вземат предвид икономичността и ефикасността, тъй като постигнатите резултати от политиката или програмата може да са имали желаното въздействие, но ресурсите за тяхното постигане да не са използвани икономично и ефикасно. За изследването на ефективността обикновено е необходимо да се оцени резултатът или въздействието от реализацията на дадена политика или програма. За целта е необходимо да се получат достатъчно съществени доказателства за всички положителни и отрицателни ефекти на политиката или програмата. Също така, за да се оцени тяхното въздействие, обикновено е необходимо да се събере информация не само за одитираните институции, техните дейности и взаимодействия, но и за други заинтересовани страни, когато се предполага, че техните действия могат да повлияят върху крайните резултати. Оценката на показатели(benchmarking) се основава на разработване на система от критерии и индикатори, чрез която се осъществяват мониторинг и оценка на ключови обществени цели, политики и програми. Използването на система от ключови индикатори има няколко важни положителни функции: • подпомагане на стратегическото планиране, разработването и усъвършенстването на публичните политики и програми; • измерване степента на реализация на публични политики и програми и постигането на ключови обществени цели; • оценяване на ефективността и ефикасността на дейността на публичните институции при реализацията на публичните политики и програми; • осигуряване на прозрачност за работата на публичните институции и реализиране принципите и практиките на доброто управление; • проследяване на напредъка в развитието на важни обществени сфери въз основа на обективни, достоверни и надеждни емпирични данни; • извършване на международни сравнения за позицията на страната по определени критерии. Съществуват множество национални и международни системи от ключови индикатори, пример за което са: А) Международни системи от ключови индикатори: • Millennium Development Goals, задаващи 18 ключови цели, които трябва да бъдат постигнати през 2015 г.(ограничаване 34 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ на крайната бедност, всеобщо начално образование, ограничаване на детската смъртност и т.н.). • European Structural Indicators System, чрез която Европейският съюз измерва напредъка в постигането на целите, формулирани в Лисабонската стратегия от 2000 г. Те са организирани в 6 тематични области и са фокусирани върху 14 водещи индикатора, които се наблюдават на национално равнище и позволяват извършването на междудържавни сравнения. • Factbook, която се публикува от OECD след 2005 г. и включва над 100 индикатора в широк кръг области: икономика, селско стопанство, енергетика, качество на живот, образование, здравеопазване и др. Б) Национални системи от ключови индикатори: • Measures of Australia’s Progress – система от индикатори, организирани в 4 основни сфери: първо, образование и обучение, здравеопазване, работа; второ, икономика и икономически ресурси; трето, околна среда; четвърто, съвместен живот – семейство, социални общности, управление, демокрация, престъпност. • Canada’s Treasury Board’ indicator system, която ежегодно предоставя информация за състоянието и тенденциите на развитие на канадското общество по отношение на икономика, околна среда, социокултурна сфера. • UK’s Sustainable Development Indicators System, чрез която се оценява изпълнението на правителствената стратегия за устойчиво развитие(устойчиво производство и потребление, енергия и климатични промени, защита на природните ресурси и околната среда, устойчиви общности и по-справедлив свят). Възможно е да се разработят и системи от ключови индикатори на национално равнище за мониторинг и оценка на обществени политики и постигания напредък в отделни важни обществени сфери. В контекста на актуалната ситуация в страната такива могат да бъдат например: • Усвояването на средства по европейските предприсъединителни и структурни фондове и оценка на работата по Оперативните програми. • Политиките и програмите за противодействие на престъпността и корупцията(например Национална стратегия и програма за противодействие на престъпността и корупцията). • Ефикасността и ефективността на съдебната система и др. Оценката на показатели(benchmarking) е специфичен метод за оценка степента на постигане на поставените цели на политики и програми, осъществявани от международни и национални институции и организации. Оценката може да се осъществява в различни обществени сфери и с различен териториален обхват. Прилагането на този метод обикновено е непрекъснат процес на мониторинг и отчитане на постиженията на политиката/програмата П ЪРВИ РАЗДЕЛ 35 и на напредъка по отношение на предварително определените цели чрез измерване стойностите на ключовите индикатори. Критериите и индикаторите могат да са насочени към вида или равнището на извършените дейности по съответната политика/програма, преките резултати(продукти и услуги), предоставени чрез програмата, и/или реализираните постижения и обществени въздействия. Най-често се акцентира върху това, дали политиката/програмата е постигнала целите си или изискванията, изразени като измерими стандарти/индикатори. Поради непрекъснатия си характер измерването може да служи като система за ранно предупреждаване и като средство за подобряване на отчетността пред обществото. Това позволява да се следи динамиката на оценяваните процеси и да се правят международни сравнения. Основните принципи при осъществяването на оценката на показатели са: • Получаване на надеждна и обективна информация, събирана от организации, които представляват публични интереси и са независими(финансово и организационно) от институциите, отговорни за реализацията на оценяваните политики и програми. • Създаване на предпоставки за обществен контрол върху реализацията на политиките/програмите и техните резултати – публична отчетност, отговорност и прозрачност на дейностите и резултатите от извършваната оценка. • Предоставяне на възможности за промяна на оценяваните политики и програми въз основа на извършените независими оценки и анализи. Ф ИГУРА 4. В ЗАИМОВРЪЗКА МЕЖДУ СТРАТЕГИЧЕСКИ ЦЕЛИ , ОЧАКВАНИ РЕЗУЛТАТИ И КЛЮЧОВИ ИНДИКАТОРИ �������������� ���� �������� ��������� ������� ���������� За да се прецени до каква степен са постигнати целите на политиките и програмите, те трябва да са формулирани по начин, който позволява подобна оценка. Това може да се извърши с ясно формулирани стратегически цели, които се трансформират в очаквани резултати и измерими ключови индикатори(Фигура 4). За оценка на нетните въздействия на една политика понякога е целесъобразно да се направят сравнения и с контролна група, по отношение на която политиката не е прилагана. И при този вид оценка е важен въпросът, дали поставените цели са постигнати посредством използваните средства, дали получените резултати и наблюдаваните въздействия наистина са резултат от реализацията на политиката/програмата, а не от действието на други фактори. 36 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Ф ИГУРА 5. Ф АЗИ НА ОСЪЩЕСТВЯВАНЕ НА ОЦЕНКАТА НА ПОКАЗАТЕЛИ ����������������������������������������� ������������������������������������ �������������������������������������� ����������������������������������������������������� �������������������������������������� ����������������������� Осъществяването на оценката на показатели преминава през пет последователни фази: дефиниране на обекта и целите на оценката; подготовка на оценката; събиране на информация за стойностите на показателите, въз основа на които се извършва оценката; анализ и интерпретация на стойностите на показателите; отразяване на резултатите от оценката при реализацията на политиката/ програмата(Фигура 5). Поставянето на целите на мониторинга или оценката е целесъобразно да бъде съобразено с правилото SMART 9 . Това означава те да бъдат: 1. Конкретни – достатъчно точни и ясни, да не дават възможност за различни тълкувания, да бъдат разбирани по еднакъв начин от всички. 2. Измерими – да определят желано бъдещо състояние, така че да е възможно да се провери дали целите са постигнати, или не. Желателно е целите да имат количествено изражение или да се основават на комбинация от описание и скали за измерване. 3. Приемливи – да бъдат приети от всички, от които се очаква да поемат отговорност за тяхното постигане. 4. Реалистични – да бъдат амбициозни, но изпълними, смислени и мотивиращи за тези, които отговарят за постигането им. 5. Обвързани със срокове – изпълнението им да бъде свързано с определена дата или период. Ф ИГУРА 6. Й ЕРАРХИЯ НА ЦЕЛИТЕ НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ ��������������� ���������������������������� ������������������������������ ������������������������� ������������������� �������������� ����������������������� ������������������������������� ������������������� ��������� �������������������������� ������������������������������� Изборът на индикатори за оценка трябва да бъде съобразен с целите на политиката/ програмата. Обикновено се разграничават три йерархично структурирани цели – общи, конкретни и оперативни(Фигура 6). Индикаторите трябва да бъдат верифицирани спрямо целта, която се предполага, че обслужват, т.е. те трябва да позволяват да се измери до каква степен една политика/програма е била правилно 9 SMART е акроним от S pecific(конкретни), M easurable(измерими), A ccepted(приемливи), R ealistic (реалистични) и T ime-dependent(обвързани със срокове). П ЪРВИ РАЗДЕЛ 37 Ф ИГУРА 7. Н ИВО НА ЦЕЛИТЕ И ТИПОВЕ ИНДИКАТОРИ ������� ��������������� �������������� ��������� ������������ ����������� ���������� ������� �������� ������� ����������� ����������� ����������� ������������ ����������� �������������� ����������� ����������� изпълнена и нейните цели са постигнати. Съществува връзка между нивото на оценяваните цели и типа на използваните индикатори(Фигура 7). Индикаторите за ресурси предоставят информация за финансовите, човешките, материалните, организационните или регулаторните средства, необходими за изпълнението на политиката/програмата. Индикаторите за продукти се отнасят до продуктите, които се очаква да бъдат произведени(или услугите, които трябва да се предоставят) чрез реализацията на политиката/програмата. Индикаторите за резултатите отразяват непосредствените влияния на програмата върху целевите групи, бенефициентите, преките адресати на политиката/програмата. Индикаторите за въздействие се отнасят към по-широките последици от политиката/програмата извън прякото и непосредствено влияние върху целевите групи. Те включват например средносрочни въздействия върху: a) преките адресати или бенефициенти; б) хора или организации, към които политиката/програмата не е пряко насочена; в) непредвидени въздействия. Индикаторите за контекст са валидни за цялата територия, население или по-големи обществени групи, без да се прави разграничение между тези, които са били обхванати от програмата, и тези, които не са били достигнати от нея. Препоръчва се подборът на конкретните индикатори за извършване на оценката за постигането на целите на политиката/програмата да бъде съобразен и с някои важни изисквания, известни като RACER: • Relevant(подходящи), съобразени с целите, които трябва да бъдат постигнати. • Accepted(приети), да се ползват с доверие от използващите ги заинтересовани страни. • Credible(правдоподобни), да бъдат ясни за широката публика, без да се налага да бъдат подробно обяснявани. • Easy(лесни) за наблюдение, опростени и не изискващи много големи разходи. • Robust(устойчиви) на манипулации, регистриращи както положителните, така и отрицателните ефекти на оценяваната мярка. 38 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Могат да се формулират и няколко обобщени методически съвета за разработването на индикатори за оценка на политики и програми: 1. Започнете с прецизно дефиниране на целите, чието постигане се оценява, а не с конкретните индикатори. Валидността и приложимостта на индикаторите зависят от тяхната обвързаност с резултата, който трябва да се постигне. 2. Измервайте резултата с балансиран набор от индикатори. Единичните индикатори рядко измерват задоволително оценявания резултат. 3. Използвайте възможно най-опростени индикатори, не изискващи големи разходи за тяхното следене. Винаги е по-изгодно да се използва информация от вече съществуващи източници, отколкото да се събират нови данни. 4. Тествайте чувствителността на индикаторите спрямо промените, които трябва да бъдат извършени. Индикаторите трябва да могат да регистрират положителните и отрицателните резултати, настъпващи при реализацията на оценяваната политика/програма. 5. Избягвайте създаването на погрешни стимули. Индикаторите трябва да стимулират постигането на желаните цели и резултати. 6. Индикаторите трябва да се ползват с доверие на прилагащите ги заинтересовани страни. Те трябва да бъдат ясни и за широката публика, без да се налага да бъдат подробно обяснявани. Източници на информация при оценката на показатели Разработването на система от ключови индикатори за оценка на политики и програми трябва да бъде съобразено със съществуващите източници на информация. Източници, използвани при оценката на показатели в областта на правосъдието и вътрешните работи, могат да бъдат например: • административни бази данни – съдебна статистика, полицейска статистика, търговски регистри и др.; • емпирични изследвания – национални представителни изследвания на престъпността и корупцията, виктимизационни изследвания – International Crime Victimization Surveys, експертни оценки и др.; • доклади и анализи на различни международни и национални правителствени и неправителствени организации; • медийни публикации; • нормативни документи(европейски директиви, закони, постановления и др.). В приложение е разработена примерна методика за оценка на някои общи, конкретни и оперативни цели, свързани с програмата за изпълнение на Стратегията за прозрачно управление и за превенция и противодействие на корупцията за периода 2006 – 2008 г. 39 ВТОРИ РАЗДЕЛ ТЕХНОЛОГИЯ И МЕТОДИ ЗА МОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 1. ФАЗИ НА МОНИТОРИНГА И ОЦЕНКАТА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Въпреки голямото разнообразие на оценките на публични политики и програми от гледна точка на етапите и сферите на политиката/ програмата, в които се извършват, целите и методите, териториалния обхват те имат някои принципни и общи технологични характеристики. Мониторингът и оценяването като процес включват шест основни фази: идентифициране на проблемната ситуация; анализ на заинтересованите страни; подготовка на мониторинга/оценката; събиране на информация; анализ и интерпретация на информацията; вграждане на резултатите от мониторинга/оценката в политиката/програмата (Фигура). 1.1. Идентифициране Идентифицирането на проблемите, които пораждат необходимостта да на проблемната ситуация се извърши мониторинг или оценка на определена политика или програма, е първият важен етап, с който започва процесът на оценяване. Разбирането на проблемната ситуация включва и идентифицирането на липсващото познание, което мониторингът/оценката може да предостави. Целта е след идентифициране на информационните празноти те да бъдат запълнени, като се събере информация и се подложи на анализ, който да съдейства при разработването на политиката/ Ф ИГУРА 8. Ф АЗИ НА ОСЪЩЕСТВЯВАНЕ НА МОНИТОРИНГА / ОЦЕНКАТА програмата, формулирането на определени коригиращи реше�������������������������������������� ния, планиране на последващи действия и др. ��������������������������������� ���������������������������������� ���������������������� �������������������������������������� ������������������������������������������������ ����������������������� Мониторингът и оценките намират все по-широко приложение и като инструменти за включване на целевите групи и заинтересованите страни(облагодетелстваните, засегнатите, имащите влияние) при дадена политика/програма. Мониторингът и оценките могат да се използват ефективно в различни проблемни ситуации: 1. За изясняване и определяне съдържанието и целите 40 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ на определена политика или програма. 2. За коригиране на общите и специфичните цели на политиката/ програмата, на предвидените интервенции и мерки. 3. За определяне на целевите групи, заинтересованите страни и тяхното участие в разработването, прилагането и/или самата оценка на политиката/програмата. 4. За по-широко ангажиране на целевите групи и на всички заинтересовани страни с цел ефективно прилагане на политиката и осигуряване устойчивост на програмата. 5. За приоритетно отчитане ролята на различните икономически, социални, демографски, политически и други фактори и по-добро таргетиране на политиката/програмата. 6. За по-интензивно включване на централните и местните власти на различните етапи от разработването и изпълнението на политиката/програмата. 7. За изграждане на институционален, административен и социален капацитет, създаващ условия за успешно осъществяване на политиката/програмата. 8. За улесняване и повишаване на ефективността от текущото наблюдение и оценка на политиката/програмата и др. Идентифицирането и анализът на проблемната ситуация могат да бъдат затруднени от различни ограничителни фактори: • непознаване на възможностите на мониторинга/оценката, на количествените и качествените методи за изследване и анализ, на силните и слабите страни на методите за оценка на политики и програми, които следва да бъдат прилагани; • недостиг на време, т.е. необходими са разумни срокове за качествено осъществяване на мониторинг/оценка. Според анализи на Световната банка стандартният необходим срок за това е няколко месеца(обикновено от 3 до 6 месеца), въпреки че някои оценки могат да бъдат по-кратки или значително по-продължителни(6-12 месеца); • динамиката и бързата загуба на актуалност на събираната информация, върху която се гради оценката на политиките и програмите; • скептицизмът на правителства, местни власти и други заинтересовани страни, дори понякога на самите експерти, които извършват мониторинга или оценката на политиката/програмата и очакваните им резултати; • недостиг на кадри и финансови ресурси. Потенциален проблем на този първоначален етап е и на пръв поглед парадоксалната възможност възложителите и изпълнителите на мониторинга/оценката да установят, че не е ясно каква информация е необходимо да се събере. Ако не може точно да се дефинират проблемът и целта на мониторинга/оценката, би било невъзможно те да се извършват ефективно. В подобни случаи е уместно първоначалното използване на някои качествени методи(като неструктурирано интервю или дискусии във фокусни групи), за да се подпомогне дефинирането на проблемната ситуация. Едва след като се придо- В ТОРИ РАЗДЕЛ 41 бие яснота по съществуващия проблем, може да се премине към подготовката на мониторинга/оценката. Този проблем би могъл да се преодолее със съвместните усилия на вземащите решение, специалистите, които възлагат и/или осъществяват мониторинга/оценката, и заинтересованите страни. Наред с постигането на яснота за конкретната проблемна ситуация на този първоначален етап е необходимо да се дадат отговори и да се направят уточнения на някои по-общи въпроси за естеството и обхвата на мониторинга/оценката: • Кои са основните причинно-следствени връзки и зависимости, свързани с осъществяваната политика/програма, които ще бъдат предмет на мониторинг/оценка? • Какъв трябва да бъде оптималният обхват на мониторинга/оценката и на кой етап от реализацията на политиката/програмата трябва да се проведат те? • Има ли стандартни методи за мониторинг/оценка, които са приложими в конкретния случай? • Каква организация на работа ще бъде предпочетена(например оценката да бъде осъществена от тези, които разработват политиката/програмата или да бъде възложена на външна институция) и др. 1.2. Анализ на заинтересованите страни След като чрез идентифициране на проблема се установи липсващото познание, може да се премине към втората фаза на мониторинга/оценката – анализ на заинтересованите лица, организации и институции. От прецизното идентифициране и анализ на заинтересованите страни и от прилагането на най-подходящата стратегия за обхващането и включването им в процеса на мониторинга или оценката на политиката/програмата зависи и тяхната ефективност. Анализът на заинтересованите страни има ключово значение за разбиране на социалния и институционалния контекст за осъществяването на една политика или програма. Заключенията от този анализ могат да дадат своевременна и изпреварваща информация(особено чрез ex ante оценки) за това: • кои са целевите групи и засегнатите страни от политиката/програмата(в положителна или отрицателна насока); • кой може да повлияе върху политиката/програмата(в положителна или отрицателна насока); • какви хора, групи от хора или институции трябва да бъдат привлечени при реализацията на политиката/програмата и по какъв начин да стане това; • способностите и капацитетът на кои от участниците е необходимо да бъдат повишени и усъвършенствани, за да се гарантира тяхното пълноценно включване при осъществяването на политиката/ програмата. 42 1.3. Подготовка М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Анализът на заинтересованите страни, който при много мониторингови и оценяващи процедури се подценява, а понякога и се игнорира, има няколко важни функции: 1. Да бъдат разбрани потребностите, интересите, очакванията и страховете на целевите групи и заинтересованите страни. 2. Да бъде взето под внимание значението на тези потребности, интереси и нагласи и тяхното влияние върху политиката/програмата. 3. Да се изберат институциите и процесите, които ще бъдат обект на мониторинга/оценката. 4. Да се формулира стратегия за участие на заинтересованите страни в реализацията и оценката на политиката/програмата. В следващата точка на този раздел са представени общите принципи и етапи на анализа на заинтересованите страни и методите за тяхното включване при мониторинга и оценката на публични политики и програми. Третият етап се отнася до подготовката на мониторинга/оценката, която включва няколко основни елемента: 1. Избор на пряко и косвено заинтересовани страни, чиито интереси ще бъдат обект на анализ и оценка. 2. Определяне характера и вида на информацията, която ще се събира и анализира. 3. Избор на методика за извършване на мониторинг/оценка. 4. Избор на изпълнител(вътрешен или външен), който да осъществи мониторинга/оценката. По своето съдържание мониторингът и оценката са интерактивни процеси, включващи взаимодействието на различни заинтересовани страни(Фигура 9). Важен елемент от подготовката са съгласуването и постигането на споразумение със заинтересованите организации и институции по отношение на заданието за извършване на мониторинг/оценка, в т.ч. техните цели, методи за проучване, териториален обхват и времеви рамки. Следваща стъпка от подготовката на мониторинга/оценката е определянето на заинтересованите страни и групите, чието мнение трябва да бъде отчетено. Един от ключовите фактори за осъществяването на успешен мониторинг/оценка е изборът на подходяща методика, която да отчита наличните ресурси(човешки, финансови и времеви). Освен съответствието на методиката с характера и целите на извършваната оценка основен критерий при избора на методите за оценяване трябва да бъде и приемането им от тези, които вземат решения, управляват и носят отговорност за реализацията на политиката/програмата. При избора на методиката трябва също да се има предвид, че е важно да се получи достатъчна по обем и изчерпателна по своето съдържание информация, за да се подпомогне формулирането на верни и надеждни изводи. В същото време не е В ТОРИ РАЗДЕЛ 43 Ф ИГУРА 9. П РОЦЕСЪТ НА МОНИТОРИНГ И ОЦЕНКА НА ПОЛИТИКА / ПРОГРАМА (П/П) препоръчително използването на свръхсложни методи за теренна работа. ������� ������������� ����������������� ������ ������������� ����������� ���������� ���������������� ��������������� ������������������� �������������������� ������ ��������� ����������������� ����������������� ��������������� ������������ ������������� ������� ���������������� ���������������� �������������������� ������ ������������� ����������������� ��������� �������� ����������������� ������ При избора на методи за събиране на данни и сформиране на екип влияние имат и фактори, свързани с професионалния опит на осъществяващите мониторинга/оценката, легитимността на вземащите решения, възприемането от страна на заинтересованите страни на целите и резултатите на мониторинга/оценката. Някои изисквания, които трябва да се имат предвид в този случай, са: Източник: Адаптирано по Reitbergsen-McCracken J. and D. Narayan, Participation and Social Assessment Tools and Techniques, IBIRD/World Bank, Washington, 1998, p. 31. • професионализъм при подготовката и провеждането на мониторинга или оценката; • взаимодействие с целевите групи и заинтересованите страни, активни дискусии и диалог с тях; • прозрачност на първичните данни и процеса на интерпретацията и използването им; • посочване на силните и слабите страни на използвания метод/и; • честност и коректност при прилагането на методите; • взаимно доверие и лично участие, създаващо чувство за принадлежност. При подготовката на мониторинга/оценката трябва да се определи най-подходящото време за тяхното начало и провеждане, като се вземат под внимание потребностите, изискванията и очакванията на вземащите решения. По принцип мониторингът/оценката може да се осъществят на всеки етап от програмния цикъл, но добре планираната оценка, която би могла да гарантира интегрирането на всички фактори, влияещи върху реализацията на политиката/програмата, трябва да започне още при тяхното формулиране. Друг важен въпрос е каква би била оптималната продължителност на мониторинга/оценката, тъй като понякога липсва време за продължителни изследвания. 1.4. Събиране на данни В много случаи мониторингът и оценката на политики и програми са свързани със събирането на първична и вторична информация. В трета точка от този раздел на учебно-методическото ръководство са представени в обобщен вид основните характеристики на най-често използваните социологически методи за събиране на данни при мониторинга и оценката на публични политики и програми. 44 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Преди началото на непосредственото събиране на данни е необходимо да се осъществят подбор и обучение на екипа за теренна работа. Мониторингът/оценката трябва да бъдат осъществени от екип изследователи и експерти, които отговарят за: • изработване и/или адаптиране/превод на всички изследователски инструменти(въпросници, сценарии за дискусии, карти за наблюдение и т.н.); • набиране и/или обучение на полеви сътрудници(анкетьори, интервюери, наблюдатели, супервайзъри и др.); • изготвяне на инструкции и материали за обучение на полевите сътрудници и супервайзърите; • логистика, организиране на транспорт, настаняване и храна за екипа на място, ако това е необходимо; • осъществяване на стриктен контрол върху качеството на процедурите по време на теренната работа, за да се гарантират достоверността и надеждността на информацията. Екипът за теренна работа в някои случаи може да включва и местни хора, представители на целевите групи и заинтересованите страни. Необходимо е да се настоява за максимална стриктност и точност при регистриране на данните и информацията. За целта трябва изрично да се посочи кой е отговорен за събирането на данните, за тяхната обработка и извършването на анализа. Още в самото начало е целесъобразно да се подбере компетентен професионалист, който ще осъществява контрол върху работата на екипа и ще носи лична отговорност за събирането на данните, изготвянето на анализа и съдържащите се в него констатации и изводи. 1.5. Анализ и интерпретация на информацията Анализът, констатациите и изводите от осъществената оценка е целесъобразно да бъдат обсъждани с целевите групи, работещи по политиката/програмата, и заинтересованите страни(когато това е възможно), за да се гарантират верността на изводите и състоятелността на препоръките. Добре би било, ако още на ранен етап резултатите от анализа се споделят с тези, които ще ги използват – представители на възложителите на оценката, на целеви групи, на заинтересовани лица и институции, като техните гледни точки и мнения също бъдат взети предвид. Важно е да не се забравя, че резултатите от мониторинга/оценката в редица случаи са индикативни, а не представителни. Освен анализ на събраната информация е необходимо да се направи и анализ на регистрираните възражения спрямо политиката/програмата. Това би спомогнало да се съставят предложения за преодоляване на отрицателния ефект от реализацията на политиката/програмата, тъй като конкретното формулиране на възраженията позволява по-лесно да бъдат намерени сполучливи коригиращи решения. Ръководният принцип при формулирането и обсъждането на констатациите и изводите е, че оценката се прави на политиката или програмата, а не на организациите и хората, които я осъществяват В ТОРИ РАЗДЕЛ 1.6. Вграждане на резултатите в политиката/ програмата 45 и които са дали информация. Задълженията и задачите най-вероятно са изпълнявани в различна степен от различните изпълнители на политиката/програмата, но в анализа не е уместно да се изразяват персонални критики и да се търси отговорност. Данните и изводите от анализа трябва да се представят по начин, който ясно показва тяхното съотнасяне към поставените цели на мониторинга/оценката и практическата им полезност. Необходимо е да се постигне съгласие по конкретните проблеми, отразени в мониторинга/оценката, които ще окажат влияние върху формирането на политиката и изработването на програмата, при проектиране на последващ мониторинг или текуща оценка или при заключителната преценка на резултатите и въздействията на политиката/програмата. Предварителните(ex ante) оценки трябва да водят до изработване на политики и програми, които са ефективни и същевременно отчитат социалните различия и се възприемат като справедливи. Мониторингът и оценката трябва да водят и до по-активно включване, тъй че всички заинтересовани лица и институции да имат възможност да представят собствените си гледни точки, след което да участват в анализа на констатациите и резултатите от оценката. В решението, взето въз основа на резултатите от мониторинга/оценката, трябва да бъде предвиден и механизъм за неговото прилагане. Понякога именно тук се губи връзката между оценяващия екип и вземащите решения. Ако последните се отнасят с предубеждение и недоверие към осъществения мониторинг/оценка, ако те не бъдат убедени в ефективността на предлаганите решения и/или ако предложенията противоречат на техните интереси, оценката може да се окаже практически безполезна. Важно е да се осигури пълна прозрачност на резултатите от извършената оценка. Например завършените доклади от оценките на въздействието на политики в рамките на Европейския съюз се публикуват на уебстраницата на Комисията заедно с предложението, което се изпраща на Европейския парламент и/или на Съвета. 46 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 2. МЕТОДИ ЗА АНАЛИЗ И ВКЛЮЧВАНЕ НА ЗАИНТЕРЕСОВАНИТЕ СТРАНИ ПРИ ОЦЕНКАТА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 2.1. Основни стъпки при анализа на заинтересованите страни Анализът на заинтересованите страни поставя основата и структурира планирането, мониторинга и оценката на политиката/програмата чрез участие в тези процеси на всички, които са заинтересовани и имат отношение към тях. Заинтересованите страни са хора, групи от хора, организации и институции, за които съществува възможност да бъдат засегнати (в положителен или отрицателен смисъл) от политиката/програмата, или такива, които могат да окажат влияние върху резултатите и последствията от тяхното осъществяване. Заинтересованите страни са тези, които могат да спечелят или да загубят от реализацията на определена политика или програма, както и такива, които са в състояние да повлияят върху постигането на техните цели и крайните им резултати. Важно е да се подчертае, че заинтересованите страни трябва да бъдат прецизно идентифицирани, защото те са различни във всеки конкретен случай и зависят от контекста и спецификата на политиката/програмата. В основни линии анализът на заинтересованите страни е процес от четири последователни стъпки (Фигура 10). Ф ИГУРА 10. О СНОВНИ СТЪПКИ ПРИ АНАЛИЗА НА ЗАИНТЕРЕСОВАНИТЕ СТРАНИ ( ЗС ) Първата стъпка е идентифициране на заинтересованите страни, които играят ключова роля при реализацията на политиката/програмата и чието участие в оценката е наложително или желателно. Определянето на ключовите заинтересовани страни може да бъде подпомогнато, като се отговори на няколко ключови въпроса: • Кои са потенциалните облагодетелствани страни(целеви групи, бенефициенти) от реализацията на политиката/програмата? • Кой може да изпита неблагоприятно въздействие? • Кои са уязвимите групи? • Кои са потенциалните поддръжници и противници на политиката/програмата? • Какви са взаимоотношенията между заинтересованите страни? В ТОРИ РАЗДЕЛ 47 Идентифицирането на заинтересованите страни може да се осъществи чрез съставяне на списък, включващ различните институции, организации, групи и индивиди, които могат да въздействат върху политиката/програмата или върху които интервенциите могат да окажат влияние. Списъкът, съставен в резултат на тази процедура, може да послужи като първоначална информация за разработване на матрицата за анализа на заинтересованите страни. Важно е не само да се определят заинтересованите институции, организации и социални групи, но и да се прецизира кои от тях имат първичен и вторичен интерес от политиката/програмата, както и да се идентифицират техните конкретни интереси. Първично заинтересовани са тези, които имат пряка полза от реализацията на политиката/програмата или понасят преки вреди. Вторично заинтересовани са тези, които няма да бъдат пряко повлияни от политиката/програмата, но тя има отношение към тяхната дейност и интереси, към контактите им с пряко засегнатите, към възможностите за реализация на други програми и т.н. За вторично заинтересовани обикновено се смятат и институциите/организациите, които поръчват или са наети за осъществяване на мониторинга и оценката. При втората стъпка, след като заинтересованите страни са идентифицирани, се анализират възможните последици от реализацията на политиката/програмата, както и нейното потенциално въздействие върху техните интереси. Някои интереси на заинтересованите страни са по-трудно забележими, отколкото други и не е лесно прецизно да се дефинират. Това е особено валидно, ако интересите са„скрити”, многостранни или в противоречие със заявените намерения и цели на заинтересованите страни. Може да се формулира група от въпроси, които подпомагат определянето на интересите на ключовите заинтересовани страни, например: • Какви са очакванията на заинтересованите страни от реализацията на политиката/програмата? • Какви са възможните ползи и вреди за заинтересованите страни? • Какви ресурси са в състояние или биха желали да мобилизират заинтересованите страни в подкрепа или противодействие на осъществяването на политиката/програмата? • Кои интереси на заинтересованите страни противоречат на целите на политиката/програмата? За някои институции и организации отговорите на тези въпроси могат да се получат и като се извърши анализ на документи или се събере вторична информация. Оценката на интересите на някои неформални групи, местни общности или потенциални губещи обикновено изисква провеждането на консултации с тези заинтересовани страни под някаква форма. По този начин може да се направи преценка как политиката/програмата може да повлияе(положително или отрицателно) върху техните интереси. Цялата информация може да се обобщи и да се включи в матриците за анализ на заинтересованите страни. 48 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ При третата стъпка се оценяват влиянието и значението на политиката/програмата за отделните заинтересовани страни, като обикновено се вземат предвид няколко съществени техни характеристики: • Власт и статус – политически, социален и икономически. • Контрол над стратегически ресурси. • Неформално влияние. • Степен на организираност. • Властови взаимоотношения с други заинтересовани страни. • Значение за изхода и успеха на политиката/програмата. Влиянието се определя от степента, в която заинтересованите страни са в състояние да въздействат върху осъществяването и резултатите на политиката/програмата. То може да се упражни чрез пряк контрол върху процеса на вземане на решения, както и чрез оказване на подкрепа или противодействие(явно или скрито) при осъществяването на политиката/програмата. Възможностите за упражняване на контрол могат да произтичат както от официалния статут или власт на заинтересованата страна, така и от неформалното и неофициално влияние, което тя има. Значението е свързано със степента, в която постигането на целите на политиката/програмата зависи от активното участие на дадена заинтересована страна. По принцип заинтересованите страни, които имат ключово значение, са тези, към задоволяването на чиито потребности е насочена политиката/програмата и чиито интереси съвпадат с целите на политиката/програмата. Интересите на някои заинтересовани страни могат и да противоречат на целите на политиката/програмата, което създава предпоставки за тяхното противодействие при нейната реализация. Понякога заинтересованите страни могат да бъдат важни целеви групи, но в същото време да имат ограничено влияние върху политиката/програмата. Изискват се специални усилия тези заинтересовани страни да станат активни участници и да се гарантира удовлетворяване на техните потребности. Четвъртата стъпка е свързана с разработването на стратегии за включване на заинтересованите страни в процеса на оценяване. Въз основа на предишните три стъпки може да се планира как заинтересованите страни да бъдат привлечени при осъществяването на мониторинга или оценката на политиката/програмата. При това трябва да се вземат предвид: • Интересите, значението и влиянието на всяка заинтересована страна. • Необходимостта от специални усилия за приобщаване на значими заинтересовани групи, които имат ограничено влияние. • Адекватните форми за участие в осъществяването, мониторинга и оценката на политиката/програмата. Включването на заинтересованите страни в подготовката и провеждането на мониторинга/оценката е от важно значение за успешна- В ТОРИ РАЗДЕЛ 49 та реализация на политиката или програмата. Съществуват няколко принципни начина на включване на заинтересованите страни 10 : 1. Предоставяне на информация – заинтересованите страни получават информация за това, което вече е решено и планирано, за политики и програми, които вече са факт. 2. Консултации – заинтересованите страни се консултират за бъдещи политики и програми. При консултациите не се поема ангажимент изказаните мнения и становища на заинтересованите страни да бъдат взети под внимание. 3. Функционално участие или сътрудничество – заинтересованите страни са насърчавани да сътрудничат с оглед постигане на целите на политиката/програмата. 4. Интерактивно участие или упълномощаване – заинтересованите страни създават съдружия и партньорства с вземащите решения и провеждащите политиката или програмата още на ранните етапи от подготовката и разработването им, както и през целия период на тяхното осъществяване, мониторинг и оценка. Така се извършват прехвърляне на част от контрола върху вземането на решения и използването на ресурсите към заинтересованите страни, както и споделяне с тях на отговорността за резултатите от политиката/ програмата. 5. Участие по инициатива на самите заинтересовани страни, когато те самите проявяват инициатива да бъдат включени в осъществяването, мониторинга и оценката на политиката/програмата. Възможностите за такова участие до голяма степен зависят от това, до каква степен политиката/програмата създават благоприятни условия и предпоставки за разгръщане на самоинициатива, както и от волята на вземащите решения и носещите отговорност за реализация на политиката/програмата. Най-често прилаганите стратегии за включване на заинтересовани страни, имащи различно равнище на влияние и значение, са представени в Таблица 1. Оценката на двете променливи(влияние и значение) първоначално може да се направи въз основа на вторична информация. По-детайлната оценка за значението и влиянието на заинтересованите страни предполага допълнително изследване и преки консултации, за да се оценят прецизно ефектите, които дадена политика/програма би оказала върху интересите на заинтересованите. Тази таблица е удобно средство за синтезирано представяне на резултатите от анализа на заинтересованите страни, тяхното значение и влияние върху политиката/програмата. Като първоначална стъпка за определяне на правилната стратегия за участие и включване на заинтересованите страни тяхното влияние и значение се оценяват с помощта на прости скали, след което направените оценки се съпоставят(Таблица 2). 10 Mainstreaming Public Participation in Economic Infrastructure Projects. Overseas Development Institute. Briefing Paper 1998(3) July; Participation and Social Assessment. Tools and Techniques, The World Bank, Washington, D.C., 2000. 50 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Т АБЛИЦА 1. С ТРАТЕГИИ ЗА ВКЛЮЧВАНЕ НА ЗАИНТЕРЕСОВАНИТЕ СТРАНИ Заинтересованите страни имат Съществено значение Несъществено значение Голямо влияние Ограничено влияние Заинтересованите страни трябва да бъдат привлечени чрез осигуряване на подкрепата им за политиката/програмата Заинтересованите страни не са целеви групи на политиката/програмата, но могат да се противопоставят на реализацията им. Те трябва да бъдат информирани по подходящ начин, да бъде взето предвид мнението им, за да се предотврати възникването на конфликт Трябва да се положат специални усилия, за да се гарантира удовлетворяването на потребностите на тези заинтересовани страни и да се мотивира участието им За тези заинтересовани страни съществува малка вероятност да бъдат сериозно ангажирани с реализацията на политиката/програмата и следователно не изискват специална стратегия за участие освен комуникационни стратегии, насочени към информиране на широката публика за политиката/ програмата Т АБЛИЦА 2. М АТРИЦА ЗА АНАЛИЗ НА ЗНАЧЕНИЕТО И ВЛИЯНИЕТО НА ЗАИНТЕРЕСОВАНИТЕ СТРАНИ Заинтересовани страни (ЗС) Интереси на ЗС, които са изложени на риск Влияние върху интересите на ЗС о – неутрално – – отрицателно ? – неясно Значение на заинтересованата страна за успеха на П/П Степен на влияние на заинтересованите страни върху П/П 1 – Няма значение 2 – Ограничено значение 3 – Умерено значение 4 – Съществено значение 5 – Изключително значение (критичен агент) Н – Неизвестно влияние 1 – Няма влияние 2 – Ограничено влияние 3 – Умерено влияние 4 – Съществено влияние 5 – Изключително влияние Н – Неизвестно влияние Специално внимание заслужава въпросът за навременното и пълноценно включване в реализацията на мониторинга/оценката на политическите лица, които вземат решения във връзка с политиката/програмата. Ако констатациите и изводите в оценката ще се използват за формулиране на политически решения и планиране на действия, отговорните политически лица трябва да участват в нея от самото начало. Процесът на мониторинг и оценка е прозрачен и в него участват всички основни заинтересовани лица и институции на европейско, национално или регионално равнище, местни групи по интереси, финансиращи институции и т.н. В ТОРИ РАЗДЕЛ 51 В някои случаи представители на заинтересованите организации и институции могат да бъдат помолени и сами да попълнят матрицата за анализ на техните интереси, значение и влияние, като едновременно с това помогнат при изработване на стратегия за въвличане на различните заинтересовани страни. Могат да бъдат разработени и по-подробни матрици(рамки) за организиране и записване на информацията, която се получава на базата на анализа на заинтересованите страни. Особено важно е при анализа на заинтересованите страни да не се забравят и тези, които евентуално нямат интерес от реализацията на политиката/програмата и биха могли да попречат. Чрез подобен превантивен анализ техните противодействия биха били преодолени по-лесно. 2.2. Някои методи за анализ и включване на заинтересованите страни Наред с последователното извършване на всички описани стъпки особено важно значение за неговия успех има и изборът на подходящи методи за анализ и включване на заинтересованите страни. Арсеналът от използвани методи и различни съчетания помежду им постоянно се обогатява. Изборът на методи зависи от това, доколко прецизно са определени предварително заинтересованите страни и отношенията между тях, както и доколко подробно е разработена стратегията за включването им в реализацията на политиката/програмата. Когато е налице по-богата предварителна информация, обхватът на анализа и на прилаганите методи може да бъде ограничен. Обратно, при висока степен на неяснота кои страни са потенциално заинтересовани и как те биха могли да повлияят или да бъдат повлияни от политиката/програмата се налага по-задълбочен анализ с възможности за по-широко включване на самите заинтересовани страни. Възможно е институцията, която реализира определена политика/ програма, сама да предприеме предварителен анализ на заинтересованите страни, основаващ се на собствените й познания и опит. Все пак, ако участват и други независими групи и експерти, анализът ще се задълбочи, а обмяната на информацията ще бъде от взаимна полза за всички ангажирани с анализа на заинтересованите страни. Представителите на някои основни държавни и обществени институции(като например правителствени органи, местни органи на властта, неправителствени организации, научни институти и други) често са в състояние да предоставят подробна информация за заинтересованите страни. Възможността на тези организации и институции да си сътрудничат при извършване на анализа ще позволи също така при благоприятно стечение на обстоятелствата да се постигне съгласие кои заинтересовани страни да участват в мониторинга/оценката и как да стане това. Понякога обаче анализът на заинтересованите страни включва разкриването и обсъждането на деликатна информация(като например скритите цели на някои заинтересовани страни или защо е възможно някои групи да се противопоставят на реализацията на политиката/програмата). Това предполага обсъждане в по-тесен кръг с отделни експерти и заинтересовани групи. Научният опит все повече се превръща във фактор с критично значение при формулирането, изпълнението и оценката на публичните 52 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ политики. Неговото използване понякога предшества или съпътства привличането на заинтересованите страни към процеса на оценяване. По тази причина например Европейската комисия приема насоки за събиране и използване на опита 11 . Експертни групи и научни комисии, създадени от Комисията и агенциите на ЕС, са първостепенен източник на задълбочени научни съвети. От 2005 г. електронната мрежа SINAPSЕ 12 (Научна информация за помощ в областта на политиките в Европа) предлага на службите на Комисията различни комуникационни и информационни инструменти за събиране на опит по определен въпрос: 1. Библиотека за научни консултации и мнения. 2. Консултационен модул, който дава възможност да се провеждат неформални научни консултации. 3. Система за ранно предупреждение. 4. Раздел„Жълти страници” за бързо идентифициране и осъществяване на контакти с учени или с научни организации с определен опит. Наред с използването на документи, вторични данни, съществуващ научен опит и срещи с предварително избрани заинтересовани страни могат да се прилагат и някои други методи и техники за събиране на информация, които предполагат по-голямо равнище на участие. Използването на подходи, изискващи по-голямо участие на заинтересованите страни, създава у тях и чувство на съпричастност. Работните срещи между заинтересовани страни(stakeholder workshops) са особено полезни в началото на процеса, за да може да се състави пълен списък на заинтересованите страни. Този метод е подходящ и за постигане на консенсус по отношение на стратегията за участие на ключовите заинтересовани страни в реализацията и оценката на политиката/програмата. Консултациите и анализите, проведени с тези заинтересовани страни, за които се знае по-малко(обикновено те имат по-ограничено влияние), понякога са важен компонент на анализа на заинтересованите страни. Организацията на работната среща между заинтересованите страни най-често би трябвало да осигури: • Привличане на обучен специалист като водещ работната среща (фасилитатор). • Планиране на серия от свързани срещи с различен обхват, състав и място на провеждане(например по-малък брой срещи на местно равнище или с отделни заинтересовани страни, които подготвят последваща разширена среща на национално ниво). • Създаване на условия всички заинтересовани страни да участват в работните срещи. • Дефиниране на интересите и позициите на всички участници в срещата. • Определяне на равнището на доверие и скептицизъм у участниците в срещата по отношение на политиката/програмата и техните резултати. 11 COM(2002)713. 12 http://europa.eu/sinapse/sinapse/index.cfm В ТОРИ РАЗДЕЛ 53 • Идентифициране както на зоните от общ интерес, така и на противоречия и потенциални конфликти. • Създаване на екип с представители на заинтересованите страни, който да участва в подготовката и реализацията на мониторинга/ оценката. Възможно е обаче работните срещи със заинтересованите страни да не следват непременно предложения модел. Често се използват ad hoc подходи, при които се организират форуми с по-свободен и нефокусиран дневен ред. Понякога е полезно да се организират поредица от консултации. Например при първоначалната консултация може да се установи как заинтересованите страни възприемат естеството на проблема; при последваща консултация заинтересованите страни могат да споделят вижданията си по различни варианти на политиките/програмите; третият кръг от консултации може да бъде насочен към проучването на мнението на заинтересованите страни по вероятната приемливост на определен предпочитан вариант. Специфичните методи за извършване на мониторинг и оценки на публични политики и програми се различават както по начина, по който се разработват(от кого и с каква цел), така и по начина, по който се прилагат. Техниките, които се използват при отделните специфични методи, често са сходни и допълващи се. Това позволява те да бъдат комбинирани помежду си или заменяни в зависимост от конкретния случай и преценката на експертите. В този смисъл на практика не би могло да се говори за„чисти” и еднозначно обособени специфични методи за включване на заинтересованите страни при оценките на пубТ АБЛИЦА 3. С ПЕЦИФИЧНИ МЕТОДИ 13 ЗА ОЦЕНЯВАНЕ С ВКЛЮЧВАНЕ НА ЗАИНТЕРЕСОВАНИТЕ СТРАНИ лични политики и програми. Отделните методи би трябвало да се разглеждат по-скоСеминарни методи Методи за теренна работа Методи за консултации ро като условни означения на група от техники, които предоставят гъвкави възмож1. AIC (Appreciation – 1. PRA 1. Beneficiary ности за приложение. МетоInfluence – Control)(Participatory Rural Assessment Оцендите за оценка с включване Оценка – влияние – Appraisal) Оценка ка на ползватена заинтересованите страконтрол на локална среда лите ни, използвани от различни чрез участие международни институции за 2. ZOPP (Objectives Oriented Project Planning) Целево ориентирано проектно планиране 2. SARAR САРАР 2. SCC (Systematic Client Consultation) Системни консултации с клиентите оценяване, могат условно да се групират според естеството на техните цели и включените в тях основни дейности. В обобщен и систематизиран вид те са представени в Таблица 3. 13 Представените методи са по-известни с английските си наименования, които са дадени в оригинал, като е предложен и превод на български език, използван в основния текст. 54 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Семинарни методи Семинарните методи се използват най-вече при анализа на заинтересованите страни от определена политика или програма. Чрез тях се осъществява ангажирането на заинтересованите страни в процеса на оценяване. Често използвани са няколко разновидности на тази група методи: ОВК: оценка – влияние – контрол Методът „оценка – влияние – контрол” е предназначен да насърчи заинтересованите страни да вземат под внимание както техническите и икономическите фактори, така и социалните, политическите и културните фактори, които имат отношение към политиката или програмата. Прилагането на тази техника позволява на участниците да формулират обща цел и да се идентифицира влиянието, което отделните заинтересовани страни биха могли да окажат при нейното осъществяване, като същевременно се създаде форум за съвместно постигане на набелязаната цел. Методът ОВК акцентира върху запознаване с проблемните ситуации посредством изслушване, участие чрез диалог и контрол чрез действие. ЦОПП: Целево ориентирано проектно планиране ЦОПП е техника, при която заинтересованите страни и отговорните за реализацията на политиката/програмата се събират на работни срещи за формулиране на приоритетите, действията за реализирането им, както и наблюдението на постигнатите резултати. Основен резултат от прилагането на тази техника е разработване на матрица на плана за осъществяване на програмата. Целта е да се извърши ориентирано към целите планиране на цялостната реализация на програмата. В този процес се постигат и две други важни задачи: Първо, изграждане на единство и ангажираност на участниците с реализацията на програмата. Второ, създаване и подобряване на потенциала да се осъществи успешно програмата. Тези задачи се решават чрез обща работа, конструктивни спорове, обмяна на информация и знания при провеждане на работните срещи. По отношение на мониторинга и оценката работната група е необходимо да предвиди такива процедури и измерители, които определят не само дали отделните действия са успешни сами по себе си, а дали реализацията на програмата допринася за постигането на общите цели и въздействие на целевата група, към която тя е насочена. Силните и слабите страни на семинарните методи са обобщени в Таблица 4. В ТОРИ РАЗДЕЛ 55 Т АБЛИЦА 4. С ИЛНИ И СЛАБИ СТРАНИ НА СЕМИНАРНИТЕ МЕТОДИ Силни страни на семинарните методи • Насърчават взаимното опознаване на заинтересованите страни и разширяването на познанията за предмета на оценката • Създават съпричастност към идеите и целите на политиката/програмата • Изготвя се план за действие по реализацията на политиката/програмата • Заинтересованите страни сами формулират„правилата на играта” и установяват помежду си конструктивни отношения, за да се избегнат потенциални конфликти Слаби страни на семинарните методи • Работните срещи и дискусии невинаги обхващат всички заинтересовани страни • Не всички участници възприемат еднакво добре работните срещи и участват ефективно в тях • Най-слабо подготвените участници невинаги успяват да представят достатъчно аргументирано становището си • Трудно се избира място и време за провеждане на срещи и дискусии, еднакво удобно и приемливо за всички участници Методи за теренна работа Оценка на локална среда чрез участие Този метод акцентира върху познаването на специфичните местни условия, в които се реализира определена програма, като се насърчават и улесняват хората да участват лично в този процес. Дава се и възможност на заинтересованите лица да изразят своята позиция по решаването на локалните проблеми, като използват своите знания и опит именно като местни жители. Макар че по произход е бил предназначен за прилагане в аграрни региони 14 , методът на оценката на локалната среда се прилага успешно и в други условия. Неговото използване създава предпоставки специалистите, представителите на централните и местните органи на властта, както и местните граждански организации да работят заедно за реализацията, мониторинга и оценката на дадена политика или програма. Значението на този метод е, че позволява на местните хора да участват заедно с изследователите и държавните служители на национално и регионално ниво при реализирането на определена публична политика или програма. Основен елемент във философията на метода е, че не само административни служители или извършващите оценката са важните експерти, а и местните представители на целевите групи и заинтересованите страни. Целта на оценката на локалната среда е да се запознае с личния и колективния опит на хората при задоволяване на техните потребности и интереси. 14 Методите за оценка на локална среда са разработени в края на 80-те години предимно от неправителствени организации и изследователски институции с цел изучаване на аграрните общности в Азия и Африка. 56 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ САРАР(SARAR) САРАР е методика за работа със заинтересовани страни от различни равнища, ангажираща техните творчески способности в решаването на проблеми при разработването и оценката на политики и програми. Абревиатурата SARAR отразява петте най-важни принципа, на които се основава прилагането на този метод: 1. Самоуважение(Self-esteem): чувство за собствената ценност, както и възприемането на всеки като ценен източник на идеи. 2. Асоциативна сила(Associative strength): способност за формулиране на приоритети и работа в екип с обща цел чрез взаимно уважение, доверие и сътрудничество. 3. Находчивост(Resourcefulness): способност да се представят нови решения на проблемите, както и готовност да се поемат предизвикателства и рискове. 4. Планиране на действията(Action planning): съчетаване на критично мислене със способност за творческо прилагане на нови, ефективни и базирани на реалността планове, в които всеки участник има полезна роля. 5. Отговорност(Responsibility): изпълнение на задълженията по реализацията и оценката на политиката/програмата и постигането на нейните цели. Методът САРАР може да се използва в различни случаи: 1) в специфични социални общности(селищни, професионални, граждански и др.), за да предложат те собствени планове за действие като част от разработването, изпълнението и оценката на политиките/програмите; 2) в учреждения, ведомства, агенции и други формални организации – за улесняване анализа на заинтересованите от различните йерархични равнища и на взаимодействието между тях. Например методът САРАР е използван за постигане на общо разбиране за същността на проблемите, към които е насочена политиката/програмата; за определяне на факторите, оказващи влияние върху нея; за насърчаване на целевите групи да организират и планират своите действия и др. В други случаи този метод е използван, за да се осъзнаят изгодите от съвместното вземане на решения от страна на изпълнителите на програмата и заинтересованите страни. На институционално равнище САРАР улеснява йерархичното сътрудничество и взаимодействието при мониторинга, анализа и оценката на политики и програми. При използването на САРАР и свързаните с него аналитични инструменти трябва да се имат предвид различията вътре в целевата група и различията между отделните заинтересовани страни. Проблеми могат да се появят и ако прилагането на САРАР се приема по-скоро като самоцел, отколкото като средство за подпомагане развитието и осъществяването на дейностите по реализацията и оценката на политиката/програмата, а резултатите от анализа не са обвързани с конкретни последващи действия. В такива случаи се губи доверието на целевата група и процесът на сътрудничество се разпада. Ефективността на САРАР, както и на другите ориентирани към участие ме- В ТОРИ РАЗДЕЛ 57 тоди може да бъде ограничена от противодействието на вземащите решения, които не приемат резултатите от анализа, а самият процес на ангажиране считат за неефективен. Ресурсите и времето, необходими за прилагането на метода САРАР, се променят в зависимост от това, дали този метод се използва за еднократна консултация или за по-продължителен период като част от планирането, осъществяването или оценката на политиката/програмата. Първоначалното обучение на прилагащите този метод изисква поне 10-12-дневни практически занятия. Теренната работа може да се проведе на няколко отделни визити в период от 1 до 3 месеца. Някои от силните и слабите страни на теренните методи са обобщени в Таблица 5. Т АБЛИЦА 5. С ИЛНИ И СЛАБИ СТРАНИ НА ТЕРЕННИТЕ МЕТОДИ Силни страни на теренните методи • Основават се на взаимно допълващи се техники, за да се улесни участието на заинтересованите страни независимо от социални, културни и образователни различия • Правят по-прозрачен процеса на проучване, планиране и оценка на политиките/програмите, като се опират на всекидневния опит • Целевите групи и заинтересованите страни могат да почувстват своя принос към реализацията на политиката/програмата Слаби страни на теренните методи • Вероятност от създаване на конфликт поради превишаване правомощията на местните структури по отношение управлението на дейностите по реализация на политиката/ програмата • При недостатъчна компетентност и специфична подготовка на прилагащите теренните методи в конкретните условия може значително да се снижи ефективността на оценката Методи за консултация Оценка на ползвателите Оценката на ползвателите(ОП) е консултантска методология, използвана при работата по икономически, технологични, инфраструктурни, благоустройствени и други програми, за да се получи и разбере оценката на целевите групи и потребителите на резултатите от програмите. Оценката на ползвателите е метод за събиране на информация, при който се оценява значението, което придават на определена дейност по изпълнение на политиката/програмата нейните основни ползватели. Основните цели на оценката на ползвателите са: 1. Мненията на потребителите и другите заинтересовани страни да достигнат до тези, които определят политиката или ръководят програмата. 58 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 2. Да осигури обратна връзка и възможности за ефективна намеса при разработването, реализацията, оценката и използването на резултатите от политиката/програмата. Оценката на ползвателите е разработена като самостоятелен метод в началото на 80-те години в рамките на подкрепените от Световната банка изследвания на крайните градски квартали в Латинска Америка. В момента намира широко приложение в различни отрасли на икономиката и социалната политика в много развити и развиващи се страни. Акцентът при този метод пада върху събирането на качествена информация, включително субективни мнения и оценки, които допълват достъпните количествени данни. В някои случаи и доколкото е възможно, за да се направят необходимите заключения, информацията се квантифицира(представя се чрез релевантни количествени индикатори). Размерът на извадката се определя в зависимост от желаната представителност и надеждност на информацията. Затова, въпреки че резултатите от оценката на ползвателите невинаги могат да се подложат на статистически анализ, те са нещо повече от любопитна информация. Системният характер на осъществяваната оценка и използването на разнообразни техники при събирането на информацията също повишават надеждността на изводите. Тези техники позволяват резултатите от оценката на различните групи ползватели да бъдат съпоставени и да се прецени до каква степен отделните мнения са валидни за цялата целева група на политиката/програмата. Като се има предвид, че оценката на ползвателите се изготвя в рамките на дадена програма или при извършването на определена интервенция, резултатите от нея трябва директно да оказват обратно влияние върху тази програма или дейност. Затова освен описателна информация оценката на ползвателите трябва да предложи и конкретни препоръки за внасяне на изменения в действащи или планирани програми. Основни потребители на изводите и препоръките от оценката на ползвателите са управляващите органи и ръководителите на програми в различни международни и национални организации и институции. По тази причина трябва да се положат специални усилия за привличане на тези ръководители при извършването на оценката на ползвателите от първоначалния етап на планиране до анализа и окончателното представяне на резултатите. Но е важно да се знае, че задачата на ръководителите на програми рядко включва намесата им в извършването на оценката на ползвателите на място. Като правило се счита за по-полезно и ефективно при самата оценка да се използват уменията и опитът на експерти, които са добре запознати с прилаганите техники. На съответните специалисти би могло да се възложи задачата да работят съвместно с местни институции и организации, които от своя страна могат да поемат голяма част от подготвителната и теренната работа. Ангажираната институция може да бъде правителствена, научна или неправителствена организация или местна консултантска фирма. Като полеви сътрудници могат да се използват и местни хора, запознати с езика и културата на общността, които притежават умения да събират и да анализират информация. В ТОРИ РАЗДЕЛ 59 Всяка оценка на ползвателите е целесъобразно да започне с подготовка и въвеждане на участниците в същността на задачата, дори те да са висококвалифицирани, за да е сигурно, че познават много добре характера на програмата и целите на оценката, социалноикономическия контекст, в който политиката/програмата се прилага, както и изискванията към данните, анализите и докладите, които ще се очакват от тях. Продължителността на оценката обикновено е от два до пет месеца. Най-често оценката на ползвателите се прилага при програми в сферата на социалните фондове, услугите, здравеопазването, образованието, селското стопанство, урбанизацията и др. Пример за извършването на такава оценка в България е осъществената от експерти на изследователската агенция„Витоша рисърч” оценка на ползвателите на резултатите от осъществяваните от Фонда за регионални инициативи(ФРИ) инфраструктурни микропроекти в отделни български селища. Неуспешните оценки обикновено страдат от неадекватна подготовка на оценяващите или от недостатъчен контрол на теренната работа. Когато информацията, която трябва да се събира за политиката/ програмата или оценяваната дейност, предварително не е ясно дефинирана, съществува опасност да се получи прекалено описателна и детайлна информация вместо вниманието да се съсредоточи върху значимите за оценката въпроси. Затова в хода на оценката на ползвателите е необходимо периодично да се прави преглед на събраните данни и използваната методика, за да се отстранят навреме възможните недостатъци. Друга често допускана грешка е слабото ангажиране в самия процес на ключовите лица, вземащи решения във връзка с политиката/програмата. В такъв случай дори заключенията да отговарят на изискванията за качество и да имат значима стойност, вероятността те да бъдат взети под внимание и да доведат до коригиране на политиката или програмата е малка. Вземащите решения в много поголяма степен биха се заинтересували от заключенията на оценката на ползвателите, ако са участвали в планирането й и в определянето на въпросите за проучване. Без подобна предварителна обвързаност със заключенията на оценката на ползвателите, особено ако съдържат критични оценки за политиката или програмата, те не биха били взети под внимание. Системни консултации с клиенти При провеждането на системни консултации с клиенти(СКК) се прилага набор от техники за подобряване на връзките между екипа, който финансира и извършва оценката, преките и непреките ползватели и заинтересованите страни от провеждането на политиката или програмата, държавните ведомства и агенции, обслужващите организации. Например методът намира приложение в работата на Световната банка с правителствата на страните кредитополучатели. Основна цел на СКК e да се идентифицират потребностите на заинтересованите страни чрез провеждането на периодични консултации с клиентите. 60 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Най-важните силни и слаби страни на методите за консултация са систематизирани в Таблица 6. Т АБЛИЦА 6. С ИЛНИ И СЛАБИ СТРАНИ НА МЕТОДИТЕ ЗА КОНСУЛТАЦИЯ Силни страни на методите за консултация • Институционализират взаимодействието между отговорните за разработването и прилагането на политиката/програмата и заинтересованите страни • Създават условия за ангажирано запознаване на вземащите решения с проблемите, потребностите и мненията на целевите групи и заинтересованите страни Слаби страни на методите за консултация • При недостатъчно ангажиран и отговорен подход при прилагането им е възможно да се достигне до незачитане на мненията на целевите групи и заинтересованите страни • Вероятност от неадекватно трансформиране на регистрираните потребности в значими за задоволяването им дейности чрез политиката/програмата Дори най-опитните изследователи не са застраховани от допускането на грешки при избора и прилагането на различните методи за извършване на анализ и включване на заинтересованите страни при оценките на политики и програми. Грешките обаче трябва да се обсъдят навреме със заявителите и ползвателите на резултатите от оценката, за да се намерят подходящи корективи. Споделянето на грешките предполага доверие и партньорство. За да се избегнат грешките, е необходимо да се спазват три основни изисквания: Първото изискване е да се познават подробно възможностите на отделните методи и да се владеят техниките на прилагането им в реални условия в зависимост от очакваните резултати. Така например не би могло да се очаква, че един или друг метод автоматично ще провокира ангажираността на заинтересованите страни към обсъжданите проблеми. Второто изискване е методите да се използват по адекватен начин в съответствие с особеностите на отделните групи заинтересовани страни. Например използването на теренните методи(оценка на локална среда или САРАР) за ангажиране участието на държавни институции в политиката/програмата е неуместно. Третото изискване е доброто познаване на релевантните за всеки метод изследователски техники. Определен метод може да не доведе до очакваните резултати именно поради неподходящ избор на изследователски техники или неправилното им прилагане. В този контекст в следващата точка ще бъдат разгледани основните характеристики на някои най-често използвани методи и техники за събиране на данни при мониторинга и оценката на публични политики и програми. В ТОРИ РАЗДЕЛ 61 3. ОСНОВНИ МЕТОДИ ЗА СЪБИРАНЕ НА ИНФОРМАЦИЯ ПРИ МОНИТОРИНГА И ОЦЕНКАТА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ В тази част са представени някои от най-често използваните методи за събиране на информация при провеждането на мониторинг или оценка на публични политики и програми. Краткото описание на отделните методи има за цел да покаже сферите им на приложимост, техните силни и слаби страни при осъществяването на различни по вид и обхват мониторингови и оценъчни практики. Мониторингът и оценката трябва да се основават на стратегия, която очертава генералната ориентация, специфичните методи и процедури при събирането на информация и нейния анализ. Според типа на получаваната информация и начина на нейното събиране методите на изследване най-общо се разделят на две големи групи – количествени и качествени. При количествените методи се събира квантифицирана информация, която като правило се отнася до поголеми съвкупности и се подлага на статистическа обработка и анализ. Те осигуряват висока степен на представителност на получените данни. В процеса на мониторинг и оценка на публични политики и програми широко се използват и качествените методи. Основна отличителна характеристика на тези методи е тяхната по-ниска степен на структурираност и по-голямата интензивност при общуването с лицата, от които се събира информация. По този начин се отразяват по-дълбоко техните характеристики и богатството на контекста, за който се отнасят събираните данни. Броят на изследваните лица обаче е ограничен и получаваната информация рядко е представителна за по-големи социални групи. В хода на прилагането на количествените и особено на качествените методи могат да се използват и някои специфични допълнителни техники за социален анализ. Някои от най-често използваните методи и техники при събирането на информация и анализ са представени в Таблица 7. Т АБЛИЦА 7. О СНОВНИ МЕТОДИ И ТЕХНИКИ ЗА СЪБИРАНЕ НА ИНФОРМАЦИЯ Количествени методи 1. Допитване(пряка анкета и структурирано интервю) 2. Контент-анализ 3. Вторичен анализ на данни 4. Социален експеримент Качествени методи 1. Дълбочинни интервюта 2. Дискусии във фокус групи 3. Проективни и ролеви методи 4. Наблюдение чрез участие (включено наблюдение) 62 3.1. Количествени методи за събиране на информация М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Тъй като различните методи притежават различни възможности и имат специфични ограничения, те често се използват в някакви комбинации. В този случай трябва да се извърши такова съгласуване между тях, че получените чрез различни методи резултати да бъдат съвместими помежду си. Затова от голямо значение е разумният подбор на методи и техники, които ще се използват във всеки конкретен случай. Този избор трябва да се основава на някои общи принципи. В много случаи тяхното незачитане води до грешки и неверни резултати, обезсмислящи изразходваните пари, време и труд. Най-важните въпроси, на които трябва да се отговори при избора на релевантни методи и техники за събиране на данни, са: • Каква информация да се събира? Този въпрос изисква да се определи точно какви са проблемите и целите на оценката на политиката/програмата, за които трябва да се събира информация и кои методи за събиране на социална информация и анализ са подходящи в конкретната ситуация. След това идентифицираните проблеми трябва да се декомпозират, докато се стигне до конкретните въпроси, на които се търси отговор. • От кого да се събира информация? Важно е точно да се определи какви социални субекти и кои социални групи ще се изследват, за да се събере търсената информация. При решаването на този въпрос най-съществени са три фактора: заинтересованост, информираност и достъпност на източника на информация(социална група или конкретни респонденти). • Как да се събира информацията? Трябва да се държи сметка, че оценяващите не могат да поставят на хората същите въпроси, които самите те си задават. От една страна, хората не притежават професионалната квалификация на учения и не владеят научната терминология. В много случаи те просто не биха разбрали въпросите, които не са формулирани на техния разговорен език. От друга страна, във всяко общество съществуват специфични културни модели, които правят някои въпроси нежелани и/или принуждават хората да дават неверни или неискрени отговори. Затова, когато методът за събиране на информация предполага общуване с хора, отговорите на редица въпроси се получават опосредствано. За да бъдат отговорите на респондентите максимално близки до действителното им мнение, съществуват правила за формулиране на въпроси и отговори при различните методи. Допитване Допитването е най-разпространеният количествен метод за събиране на информация за субективния свят и поведението на изследваните лица. То може да бъде изчерпателно или извадково в зависимост от това, дали се достига до всички единици от дадена съвкупност, или е подбрана само част от тях. Обособени единици на изследването могат да бъдат не само отделни лица, но и различни социални обекти, обединени от някакъв общ признак – домакинства, училища, болници, общини и др. Пълното множество от такива единици се нарича генерална съвкупност. Когато броят на единиците В ТОРИ РАЗДЕЛ 63 в генералната съвкупност е твърде голям, за да бъдат обхванати всички, се избира една част от тях(т.нар. извадка) за участие в допитването. Начинът, по който се определя тази част, се нарича метод на подбор. Тук ще бъдат разгледани само основните принципи на различните методи на подбор, без детайлно да се описва тяхната технология и вариации. При стохастичния(или случаен) метод на подбор всички единици на генералната съвкупност имат равен шанс да попаднат в извадката. По този начин структурата на извадката възпроизвежда с определена точност структурата на цялата генерална съвкупност. Така се осигурява представителност(репрезентативност) на информацията, която е получена за извадката, но в границите на определена стохастична грешка може да бъде отнесена към цялата генерална съвкупност. Колкото по-голям е абсолютният размер на извадката, толкова по-голяма е степента на представителност на данните. Обикновено при допитванията се използват извадки с обем от 500 до 2000 души, като най-разпространени са извадките с големина 1000-1200 респонденти. При квотния метод на подбор изследователите трябва да разполагат с информация за основните структуроопределящи съотношения в генералната съвкупност. Например възможно е да липсва списък на пълнолетните жители на даден град, но е известна тяхната демографска структура по пол, възраст, образование, етническа принадлежност или други признаци, които са важни за целите на конкретната оценка. Тогава извадката се моделира така, че по тези признаци тя да възпроизвежда реалните съотношения в генералната съвкупност. Ако в града живеят 80 на сто българи, 5 на сто турци и 15 на сто роми, такова трябва да е тяхното съотношение и в извадката. Ако сред българите съотношението между мъже и жени е 49:51, а сред ромите – 40:60, то също трябва да бъде възпроизведено в извадката и т.н. Към типологичния метод на подбор обикновено се прибягва, когато изследователите не разполагат нито със списък на генералната съвкупност, нито с информация за разпределенията на основните признаци в съвкупността. Тогава единиците в нея се разпределят на подгрупи според интересуващите ни критерии и в допитването се включват определен брой единици от всяка подгрупа. Ако се използва горният пример, в извадката трябва да присъстват определен брой мъже и жени, хора от различните възрастови и образователни групи, българи, турци и роми, като не е задължително тяхното съотношение да бъде такова, каквото е в генералната съвкупност. В този случай данните и изводите от изследването имат ориентировъчен характер и се отнасят само за отделните изследвани подгрупи, но не са представителни за цялата съвкупност. Съществува и метод за подбор, който не се извършва от изследователя – т.нар. „метод на отзовалите се”. При него въпросите от допитването се обявяват публично или на място, достъпно само за интересуващата ни съвкупност, например в средствата за масова 64 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ информация, в интернет, в магазини, в обществени учреждения, изпращат се по пощата и др. Основният недостатък на този метод е, че отзоваването зависи повече от психологическите нагласи на изследваните лица, отколкото от степента им на заинтересованост и информираност по съответния проблем. Като правило тези изследвания се характеризират с малък дял на отзовалите се на поканата за участие в изследването. В този случай като правило проучванията не могат да бъдат представителни нито за цялата съвкупност, нито за отделни групи в нея. Според формата на общуване с респондентите допитването се разделя на два големи вида – анкета(когато лицето само чете и отговаря в писмена форма на въпросите в анкетната карта) и интервю(когато въпросите се четат и отговорите се регистрират от интервюер). При избора между анкета и интервю трябва внимателно да се преценят множество фактори: какво е най-ниското образователно ниво в интересуващата ни съвкупност, каква е дължината и сложността на въпросника, присъстват ли в него лични и „неудобни” теми, има ли в нея групи с лошо здравословно състояние и т.н. Анкетата например не бива да се прилага, когато се извършва допитване до слабо образовани или възрастни хора – те невинаги могат да четат и да пишат било поради слаба грамотност, било поради увредено зрение. Интервюто е неподходящо в случаите, когато се засягат теми, по които хората се въздържат да говорят. По-голяма е вероятността те да споделят нещо пред анонимността на белия лист, отколкото пред непознат интервюер, колкото и висока да е неговата компетентност. Допитването може да бъде стандартизирано, полустандартизирано или нестандартизирано(свободно) според вида и формата на въпросите, включени в него. Когато всички въпроси са„открити”, т.е. зададени са в свободна форма, без да са посочени определени отговори, допитването е нестандартизирано. Когато след всеки въпрос са посочени и възможните отговори, а респондентът трябва да избира от тях(т.нар.„закрити” въпроси), то е стандартизирано. Съществуват някои правила за формулиране на въпроси и отговори, чието спазване осигурява максимална достоверност на отговорите на респондентите. По-важните от тях са: • Както въпросите, така и отговорите не бива да съдържат внушение, което по един или друг начин насочва изследваните лица към определени отговори, прави някои отговори по-желани или попрестижни, създавайки изкуствена възможност те да бъдат давани по-често от други. • Когато въпросът е„закрит”(т.е предварително са формулирани възможните отговори), трябва да се предвидят всички възможни случаи независимо от очакванията колко респонденти ще отговорят на всеки от тях. • Въпросът и всички отговори трябва да са формулирани по равностоен начин, така че различните отговори да носят еднаква смислова стойност. В ТОРИ РАЗДЕЛ 65 • Отговорите трябва да образуват единна скала и да се отнасят до един и същи признак. • Равнището, на което са формулирани въпросите и отговорите, трябва да е разбираемо за най-ниско образованата част от респондентите, но същевременно да не звучи обидно за най-високо образованата. Препоръчително е след изготвяне на въпросника да се проведе т.нар. „пробно изследване”. Обикновено то обхваща 20-30 респонденти, по възможност от най-важните подгрупи, които се очаква да вземат участие в същинското допитване. Целта е да се провери как въпросникът„работи” – разбираеми ли са въпросите, подходяща ли е подредбата им, коректно ли са зададени от гледна точка на респондента, има ли мнения, които не могат да бъдат отнесени към предвидените от изследователя отговори, и др. Освен това е необходимо да се направи и щателен оглед на целия въпросник – има ли въпроси, останали без отговор и кои са те, има ли дописани на ръка отговори и забележки, които не се „вписват” в рамките, зададени от изследователя, каква е продължителността(минимална, максимална и средна) на попълване на въпросника и др. Въз основа на информацията, получена от пробното изследване, става възможно въпросникът да се оптимизира и предварително да се избегнат някои грешки, които биха попречили да се получи по-близка до реалността картина на обществените мнения и настроения. Самият процес на анкетиране или интервюиране трябва да се извършва от специално подготвени лица. Съществуват множество принципни правила за поведението и външния вид на анкетьорите, но освен това при всяко конкретно допитване те трябва да получат писмени инструкции в какъв период да работят, какви условия да изпълняват и как да действат при възникването на една или друга проблемна ситуация. Ако възникне непредвидена в инструкциите ситуация, те са длъжни и трябва да им е осигурена възможност в най-кратък срок да се консултират с изследователския екип. Основно правило е, че в подобни случаи анкетьорът/интервюерът не бива да взема самостоятелно решение – не защото е неспособен да вземе решение, а защото в една и съща ситуация различните хора биха взели различни решения. Това от своя страна поставя в неравностойни ситуации различните респонденти и така изследователите са лишени от възможността да унифицират и контролират условията, при които се получават отговорите на въпросите. След приключване на допитването изследователският екип трябва да извърши проверка на работата на част от полевите сътрудници (анкетьори и/или интервюери). Според общоприетите стандарти тази част обикновено съставлява от 5 до 10 на сто от извадката. Това означава, че ако допитването е включвало 1000 души, от 50 до 100 души трябва да бъдат посетени отново, за да се провери идвал ли е при тях анкетьор или интервюер, кога е станало това, какви теми е включвал въпросникът, колко време им е отнело допитването и др. При стохастичния и квотния метод на подбор понякога се извършва „претегляне” на получените данни. Това е статистическа процедура, 66 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ която се налага поради разликата между големината и структурата на планираната и реализираната на практика по време на допитването извадка. Такава разлика винаги съществува поради неточности в списъка на генералната съвкупност, отсъствие на някои от лицата в извадката в периода на полевата работа и други фактори.„Претеглянето” се състои в това, че на различните групи респонденти в реализираната извадка се приписват такива относителни„тегла”, каквито би трябвало да имат в генералната съвкупност и в планираната извадка. Например хората на възраст над 60 години в планираната извадка е трябвало да бъдат 36 на сто от респондентите, а техният дял в реализираната извадка е 43 на сто. При„претеглянето” на техните мнения се приписва такова относително тегло, каквото биха имали, ако съставляваха 36% от респондентите. Така се елиминира действието на част от факторите, които изследователят не е в състояние да контролира по време на допитването. Контент-анализ(анализ на съдържанието) При този метод се изучават мнения, нагласи, позиции, които вече са отразени върху текст, визуален или аудиоматериал. Например, ако е необходимо да се проследят обществените настроения по даден въпрос в определен период, предшестващ събирането на информация, възможно е да се направи контент-анализ на материалите в местната преса(информации, анализи, коментари, снимки и др.), засягащи съответния проблем. Най-общо контент-анализът проучва структурата на комуникацията, стремейки се да даде отговор на пет основни въпроса: кой съобщава нещо, какво е съобщението, към кого е отправено то, как и с какъв ефект е разпространено. В зависимост от конкретните цели се търси отговор на всичките пет въпроса или на част от тях чрез мрежа от теми, описващи изследователския проблем. Тази мрежа се свежда до конкретни въпроси за наличието и честотата на набор от категории в изучаваните текстови, визуални или аудиоматериали. Когато се анализира текст, това са езикови категории – конкретни думи, изрази или определени части на речта. Анализът на съдържанието може да бъде много полезен например, когато се оценява важността и/или актуалността на определен обществен проблем, към който е ориентирана политиката/програмата и извършваните мониторинг или оценка. Значимостта на този проблем може да бъде оценена посредством анализ на степента на неговото присъствие в националните или местните медии. Освен това може да бъде анализиран и специфичният контекст, в който този проблем се разглежда като значим за определени социални групи и тяхното специфично отношение към него. Възможно е да бъдат открити и конкретни аргументи„за” или„против” вземането на подходящи решения или извършването на определени действия, насочени към решаването на проблема. Ценно би било и идентифицирането на алтернативни решения на възникналия проблем, които се предлагат от различни заинтересовани страни. Като цяло анализът на съдържанието има и това предимство, че може да бъде В ТОРИ РАЗДЕЛ 67 осъществен по-бързо и със значително по-малко разходи, отколкото допитванията. Вторичен анализ на данни Когато са събират данни за вече отминал период, необходима е предварителна информация, за да се осъществи оценката или няма достатъчно време и/или възможност да се провежда самостоятелно изследване за събиране на нова информация, могат да се потърсят статистическа информация или данни от вече проведени изследвания. Тази информация се анализира отново от гледна точка на актуалния изследователски проблем и ако е необходимо и възможно, данните от наличните проучвания се подлагат на вторична статистическа обработка. Това дава възможност да се проследят мненията и нагласите на онези специфични групи, които са обект на конкретната оценка. Основните предимства на вторичния анализ на данни могат да се обобщят така: • той е по-евтин от самостоятелното събиране на първична информация за конкретната оценка; • осигуряването на вторични данни е значително по-бързо; • набавянето на вторични данни е свързано с по-малко труд и заети с тази дейност лица; • събирането на вторични данни е с по-ниска степен на сложност и риск от събирането на първична информация; • съществуват въпроси, по които не е възможно събирането на първични данни. Например само оторизирана държавна институция е в състояние да изисква от фирмите информация за икономическите и финансовите показатели за тяхната дейност. При използването на вторични данни трябва да се вземат под внимание и три съществени ограничения: първо, понякога е трудно да се открият подходящите за целите на оценката вторични данни; второ, често липсват показатели за надеждността и точността на тези данни; трето, вторичните данни невинаги са актуални. Социален експеримент В някои по-редки случаи при събирането на информация във връзка с извършването на мониторинг и оценки на политики/програми могат да се проведат и социални експерименти. Тяхната основна цел е да се открие, потвърди или отхвърли наличието на определени причинно-следствени връзки между две или повече променливи. Подобна ситуация може да възникне, ако оценяващите се интересуват например дали по-широката информираност на населението за дадена програма увеличава готовността за лично участие в нейната реализация или дали участието в обсъждането на програмата намалява съпротивата срещу нейното осъществяване. В тези случаи се установява и ако е възможно се измерва количествено какво е влиянието на определен фактор(причина) върху дадено следствие 68 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ (резултат). Като факторни променливи могат да се разглеждат както минали, така и бъдещи(възнамерявани) действия, свързани с определена политика или програма. Ако акцентът е върху бъдещето, основният интерес се съсредоточава върху сравняването на последиците от няколко алтернативни решения. За да се направят заключения относно наличието на причинно-следствени зависимости, трябва да са изпълнени няколко условия: 1. Да са налице доказателства, че между наблюдаваните променливи съществува взаимозависимост. 2. Да съществува увереност, че разглежданата като причина променлива предхожда променливата – резултат. 3. Да липсват други променливи, които обясняват наблюдаваната взаимовръзка между причина и следствие. В реалната изследователска практика обаче, посочените три условия трудно могат да се срещнат изпълнени в чист вид. Освен това заключенията, които се правят, обикновено имат вероятностен характер, защото се основават на извадкови данни. Разграничават се два основни вида експерименти: лабораторни и полеви. При лабораторните експерименти се създава изкуствена и контролирана от експериментатора ситуация, при която се наблюдава въздействието на определени факторни променливи върху други променливи – следствия. За целта е необходимо страничните фактори или да бъдат елиминирани, или да се поставят под контрол. При лабораторните експерименти има и някои рискове. Възможно е поведението на участниците в експеримента да бъде различно от поведението им в обичайни и естествени условия. В някои случаи се проявяват и елементи на конформизъм, самопредставяне и вживяване в определени роли. Полевите експерименти се провеждат в реална(полева) обстановка, което ограничава недостатъците на лабораторните експерименти. Но при тях невинаги е възможно да се отстрани влиянието на страничните фактори и да се отдели само въздействието на интересуващите ни причини. Възможно е да се появят и чисто организационно-административни трудности за тяхното провеждане – получаване на разрешение, съгласуване с многобройни инстанции и др. Полевите експерименти като правило изискват повече време и са по-скъпи. 3.2. Качествени методи за събиране на информация Качествените методи са широко използвани при събирането и анализа на информация при извършване на мониторинг и/или оценка на публични политики и програми. Те притежават няколко важни предимства: бързина, икономичност, възможност за събиране на позадълбочена и нюансирана информация за мненията и поведението на изследваните лица, разбиране на социалния и културния контекст, в който се реализират политиките/програмите. Качествените методи най-често се осъществяват чрез свободно и сравнително продължително взаимодействие с изследваните лица. В ТОРИ РАЗДЕЛ 69 Дълбочинни интервюта Този вид интервю обикновено се прилага, когато трябва да се отрази мнението на т.нар.„експерти”. Експертите са лица с висока степен на информираност в специфична област. Това не са само професионалисти и тесни специалисти, но също и хора, които поради различни обстоятелства имат повишен интерес и натрупан опит и познания в дадена област. Например майките с малки деца са„експерти” в областта на възпитанието и грижите за децата също толкова, колкото педагозите и педиатрите, а по определени аспекти – дори в по-голяма степен. Най-често експертите се подбират типологично, като броят им обикновено е не по-малък от 10 и не по-голям от 25-30 души. При дълбочинното интервю всички или почти всички въпроси са „открити”. На интервюера се предоставя списък на въпросите(или групите от въпроси), които трябва да бъдат зададени, но той не е длъжен да спазва техния ред и формулировка. От него се изисква да се„задълбочи” в предварително определените тематични кръгове, така че да получи от своя събеседник възможно най-богата и разнообразна информация – включително такава, която е в рамките на разглежданата проблематика, но изследователят не е предвидил при подготовката на изследването. За целта той трябва да води разговора свободно, като променя реда, характера и формата на въпросите според неговото развитие. Това изисква по-висока и по-различна квалификация на интервюера, отколкото при допитването. Разговорът не се документира в писмен вид в момента на провеждането му, а обикновено се прави аудиозапис с предварителното съгласие на интервюирания. Ако интервюираният не е дал съгласието си интервюто да бъде записано, обикновено след неговото приключване интервюиращият подробно описва съдържанието на проведеното интервю. Дискусии във фокус групи Този метод придобива голяма популярност през последните години и е най-разпространеният качествен метод за събиране на данни. Наименованието на метода произлиза от това, че вниманието се фокусира върху една проблемна област и дискусията се води не с един, а с няколко събеседници. Дискусиите във фокус групи се провеждат сред ограничен брой хора(8-12 души), като участниците обсъждат няколко основни теми, свързани с осъществяваните мониторинг или оценка. Дискусиите се ръководят от опитен водещ (модератор), който въвежда темите и насочва хода на обсъжданията. Продължителността на дискусиите най-често е не повече от час и половина – два. Фокус групите играят ролята и на форум за изказване на лични мнения, тревоги и опасения, за обсъждане на спорни въпроси между участниците, както и за определяне на потенциалните полета на съвместно действие. Груповите дискусии дават възможност и за кръстосана проверка(cross-check) на информацията, която е била събрана посредством други техники, и могат да се използват, за да 70 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ се осигурят по-разнообразни и надеждни резултати. Ключовите фактори за успех на груповите дискусии са: Първо, сценарий на дискусията. Изследователските задачи е необходимо да се трансформират в серия от теми и въпроси, на които трябва да се даде отговор и да се обсъдят по време на дискусията. Сценарият на дискусията обаче има отворен характер и не е целесъобразно да се изготвя формализиран въпросник, който да се чете на респондентите. Добре е да се проявява гъвкавост при реализацията на предварителния сценарий, за да не се ограничава и формализира дискусията. Много важно е да се изслушват с разбиране участниците в обсъждането и да се създадат условия за свободна и непринудена обмяна на мнения. Стриктното придържане към изготвения списък от въпроси може да доведе до загуба на спонтанността и свободата на комуникация. Второ, избор на участници. При подбора може да се следват две стратегии в зависимост от темата и целта на дискусията. При едната стратегия съставът на фокус групите може да се определи въз основа на общи характеристики на участниците(експерти, безработни, самотни майки, хора от определена етническа група, жертви на престъпление и т.н.). Това не означава, че членовете на групата ще изразят само едно мнение или ще приемат всички изказани аргументи безрезервно. Чрез този метод се установяват типичните нагласи и ориентации на участващите по отношение на разискваните теми. При тези дискусии се разчита преди всичко на груповото взаимодействие и стимулиращата роля на чуждите мнения върху активността на участниците. При втората стратегия стремежът е да се представят различни социални позиции и различни гледни точки – например представители на различни уязвими социални групи. В зависимост от целите на конкретната оценка е възможно да се съставят групи от членове с разнородни характеристики. Групите биха могли да се формират и на база резултатите от предишни изследвания. Възможно е и двете стратегии да бъдат комбинирани – например да се подберат за участие безработни лица и да се проведе серия от няколко групови дискусии с представители на различни възрастови групи безработни. В зависимост от сложността на изучаваните проблеми, броя и състава на изследваните групи, времето за провеждане на проучването и др. най-често се провеждат от 2-3 до 7-8 групови дискусии. Трето, ефективно ръководство на дискусията. Основна фигура при провеждането на фокус групите е водещият на дискусията(модератор). Добрият модератор трябва да осигури възможност на всеки участник да изразява свободно, без притеснение и без оказване на натиск своите възгледи, идеи, опасения и несъгласия с останалите участници. Водещият контролира груповите влияния, внушения и натиск, за да се избегне доминирането на един или няколко участници върху хода на дискусиите, което може да ограничи приноса на останалите. Важно е модераторът да установи пълноценен контакт с всеки участник, като слуша внимателно, проявява уважение към различните гледни точки, избягва употребата на технически, профе- В ТОРИ РАЗДЕЛ 71 сионални или жаргонни термини, които са трудно и нееднозначно разбирани. Необходимо е правилно да се ориентира за продължителността на обсъжданията по всеки отделен въпрос, да притежава усет към изчерпването на дадена тема и плавно да превключва към въвеждането на нов проблем. Разговорът се разгръща по основните предварително набелязани теми и въпроси, като целта на модератора е да разграничи различните становища, оценки и практики на участниците. В заключителния етап на дискусията стремежът е да се намери сходство в становищата и оценките, които да се споделят от всички, като се оценят потенциалните възможности за постигане на консенсус. Това може да се постигне както въз основа на мнения, споделени от участниците, така и на предложения на водещия или предварително зададени алтернативи от изследователския екип. Възможността за изработване на консенсус между различни позиции, която дава методът на груповите дискусии, го прави особено ценен и предпочитан при оценката на публични политики и програми. Дали е постигнат консенсус и равнището, на което той е станал възможен, са важни резултати на осъществената оценка. Четвърто, анализ и интерпретация на резултатите. Резултатите от дискусиите във фокус групите трудно се поддават на квантифициране. Поради богатството и разнообразието на изказваните идеи и становища обикновено всеки анализатор може да открие нещо, което съвпада с неговите възгледи. Опасно е, ако той се поддаде на изкушението да подкрепи собствените си разбирания чрез тези мнения, които са в съответствие с тях. Продуктивният анализ изисква да бъдат обхванати всички оценки, твърдения, наблюдения или възражения по всяка тема. Когато се представят получените коментари по време на дискусията, не е достатъчно те да бъдат буквално повторени, а трябва да бъдат разгледани в цялостния контекст на изводите и следствията, до които водят по отношение на изследвания проблем. Наблюдение чрез участие(включено наблюдение) Наблюдението чрез участие се изразява в престоя на оценителите за известно време в наблюдаваната целева общност. За разлика от наблюдението с участие в социалната антропология, където пребиваването в изследваната общност може да трае 2-3 години, наблюдението чрез участие при оценяването на политики и програми обхваща период от няколко дни до 1-2 месеца. По време на своя престой наблюдателят се стреми да се сближи с хората от общността и да участва в ежедневните им дейности. Основна цел на метода е да спомогне за разбиране в дълбочина на мотивацията, нагласите, мненията на хората в дадената общност. Наблюдателите допринасят и за установяване на несъответствията между това, което хората казват по време на дискусиите и интервютата, и реалните им действия. Чрез систематично документиране на своите директни наблюдения наблюдателят може да осигури ко- 72 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ личествени и качествени данни, а също да формулира индикатори и въпроси за последващи изследвания. Наблюдението чрез участие може да се осъществи не само в определена социална общност, но и в организации, за да се разбере как те функционират и какви са причините за съществуващите проблеми. Подобни институционални оценки могат да се получат за формални и за неформални групи както на национално, така и на местно равнище. Проективни и ролеви методи Ключова характеристика на проективните методи е представянето на достатъчно неопределен обект, дейност, ситуация или хора, които респондентите трябва да интерпретират, обяснят или допълнят. Колкото по-голяма е неопределеността, толкова по-пълно изследваните лица проектират себе си при тази интерпретация – своите неявни нагласи, предразсъдъци, чувства, опасения и т.н. Проективните техники се използват, когато се предполага, че респондентите няма да могат или няма да пожелаят да дадат точни и искрени отговори на директни въпроси. Подобни ситуации могат да възникнат, ако се интересуваме от: • причините и/или мотивацията за определено поведение, отношение, становище, особено когато то се възприема отрицателно от общественото мнение; • смисъла и значението, което хората придават на своите и чуждите действия и изказвания; • неявните и несъзнателните подбуди и интерпретации на определени събития, действия, изказвания. Една от разновидностите на тези методи, прилагана при социалното оценяване, е т.нар прекъсната история(story with a gap). Този похват използва двойка картини, илюстриращи ситуация„преди” и ситуация „след” извършване на определени интервенции или действия. Участниците дискутират и двете изображения, като по този начин„запълват празнината” чрез определяне на необходимите стъпки, които да се предприемат, за да се постигне това, което е представено в подобрената ситуация„след”. Алтернативните интерпретации и предложения могат да бъдат разбрани чрез разделяне на участниците в няколко малки групи – например от жени и мъже, от млади и възрастни хора или по друг начин, като на всяка група се раздава един и същ комплект от рисунки. Групите, след като са анализирали рисунките, се събират заедно, за да се информират за проведените дискусии и да сравнят гледните си точки. При ролевите методи на респондентите се предлага да изиграят ролята или да се поставят на мястото на други хора. Един от вариантите е т.нар. игра хардуер-софтуер(Hardware-software game). Този похват осигурява основата за съвместно решение между изпълнителите на дадена програма и целевите групи по отношение на компонентите на оценката и необходимите промени в изпълнението на програ- В ТОРИ РАЗДЕЛ 3.3. Допълващи техники 73 мата и дейностите по техническото осигуряване(hardware activities), т.е. тези, свързани с техническата инфраструктура, и дейностите по организационно-програмното осигуряване(software activities). Самата игра изисква подготовка на списък на техническите и организационните компоненти на програмата. Вземайки участие в играта, участниците трябва да оценят и да допълнят плановете по техническото осигуряване с грижите по организационно-програмното осигуряване. Изпълнителите на програмата и членовете на целевите групи от дадена общност се събират на едно място, за да се обсъдят проблемите. Чрез този похват може да се генерира взаимно разбиране на нуждите и да се споделят възгледи за това, какво ще се изисква, за да се съчетаят програмните с техническите компоненти. Овен това дискусията може да определи кои дейности могат да се осъществят от членовете на общността, кои трябва да се извършват от изпълнителите на програмата и кои изискват тясно сътрудничество между тях. Сезонни диаграми Сезонните диаграми обикновено се съставят от целеви групи и/или участници в дадена програма(най-често това са представители на определена местна общност). Те представляват полезно средство за получаване на информация, отнасяща се до сезонните промени в рамките на общността, както и за периодите, през които се наблюдават определени промени, сътресения и уязвимост. Сезонните диаграми се съставят в резултат на дискусия, за да се потвърди истинността на получената информация. Те показват сезонните колебания в различните дейности на общността. В един календар може да се включи цяла серия от сезонни променливи, като по този начин се прави преглед на ситуацията през цялата година. Тези променливи могат да включат например: наличие на работни места, наличие на платена заетост, миграция, инциденти или болести, равнище на доходите и разходите и др. Могат да бъдат представени и значими събития като национални или местни празници, икономически форуми, социални кампании и др.п. Завършеният календар може да се използва за определяне на това, кога трябва да се осъществят планираните дейности, свързани с програмата, така че те да не съвпадат с най-натоварените моменти от годината или пък с критични периоди, когато търсенето на алтернативни източници на доходи е най-силно. Графики на ежедневната дейност(Daily Activity Charts) Графиките на ежедневната дейност са полезни като начин за графично изобразяване на това, как членовете на общността, засегнати от реализацията на дадена програма, прекарват своя ден. Те могат да илюстрират настъпилите промени в резултат на изпълнението на програмата. Освен това диаграмите правят по-лесно сравнението на ежедневната дейност между отделните групи – например на мъжете спрямо жените, на работещите спрямо безработните или на семейните спрямо несемейните и т.н. 74 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Така както сезонният календар представя най-натоварените периоди през годината, така графиката на ежедневната дейност от своя страна показва най-натоварените моменти от деня. По този начин тя може да бъде полезна за планиране на времевото разпределение на дейностите, свързани с програмата – например може да подскаже най-подходящото време през деня за организиране на курсове за обучение. Диаграми на Вен Институционалните карти, наричани понякога диаграми на Вен, дават възможност за визуално представяне на различните групи, организации и институции в рамките на общността, както и техните взаимоотношения и значимост за процеса на вземане на решения. Участниците(членове на общността, които са запознати с формалните и неформалните групи в нея) са помолени да използват кръгове, за да опишат отделните групи. Кръговете се начертават на хартия или се използват други подходящи средства. Относителното значение на групата или институцията се представя от размера на кръга, който я представлява. Колкото кръгът е поголям, толкова групата е по-значима. Степента, в която различните групи взаимодействат помежду си, е представена чрез степента на припокриване между кръговете, изобразени на диаграмата. Колкото е по-голямо припокриването, толкова са по-големи взаимодействието и сътрудничеството между групите и/или институциите. Външните институции, които взаимодействат с общността, могат също да се изобразят на диаграмата. Участниците посочват ключовите институции и индивидите, отговорни за вземането на решения в рамките на общността, като избират или рисуват кръгове, които представляват всяка институция или индивид с различен размер в зависимост от относителното значение на представения индивид или институция. Отдалечените кръгове изразяват липса на контакт между индивидите или институциите; допиращите се кръгове – обмен на информация между тях; лекото припокриване – взаимодействие при вземането на решения; сериозното припокриване – значително сътрудничество. Когато диаграмата е завършена, участниците отговорят на въпроси – например как са се променили нещата през последните години; какви подобрения те биха желали да видят по отношение на представените институции или индивиди; каква е степента на членство на различните групи и др. Тази техника също се използва в рамките на групова дискусия, която генерира консенсусен поглед върху социалната структура на общността. Освен това може да се използва, за да илюстрира различните перспективи, като например на мъжете спрямо жените, на изпълнителите на програмата спрямо членовете на общността, както и на участниците в групата спрямо неангажираните в програмата страни. В заключение може да се каже, че изборът на методи за събирането на информация и нейния анализ, които да се използват при оценката В ТОРИ РАЗДЕЛ 75 на политики и програми, зависят от множество фактори. Сред найзначимите са: 1. Особеностите на проблемната ситуация, изискваща събиране на информация за осъществяване на мониторинг или оценка. 2. Съдържанието на целите и задачите, които си поставят мониторингът/оценката. 3. Изискването за ангажираност на целевите групи, изпълнителите и другите заинтересовани страни. Освен от тези три основни фактора изборът на методи зависи и от субективната преценка на екипа, извършващ мониторинга/оценката. Този субективен избор се гради на натрупаните познания и опит при прилагането на различните методи и техники за анализ. Върху избора на методи влияят и някои обективни фактори и ограничения като: • времето, с което се разполага за изработване на дадена оценка; • финансовите ресурси; • особеностите на целевата група. Сложността и отговорността при избора на методите налагат добра предварителна подготовка: • натрупване на достатъчно информация за прилагането на методите в подобни вече осъществени оценки; • консултации с експерти; • преценка на силните и слабите страни на подходящите за конкретния случай методи; • избор на комбинация от методи с цел компенсиране на недостатъците на едни с потенциала на други; • съгласуване на избраните методи с възложителите на мониторинга или оценката. Изборът предполага и добро познаване на всички методи, тъй като оценяващите политиката/програмата трябва да аргументират както избраните методи, така и отхвърлените. По този начин се подчертава отговорността на направения избор. 77 ПРИЛОЖЕНИЕ ОЦЕНКА НА СТРАТЕГИЯТА И ПРОГРАМАТА ЗА ПРОЗРАЧНО УПРАВЛЕНИЕ И ЗА ПРЕВЕНЦИЯ И ПРОТИВОДЕЙСТВИЕ НА КОРУПЦИЯТА(2006 – 2008 Г.) 1. ЦЕЛИ И СЪДЪРЖАНИЕ Възможно е да се разработят системи от индикатори на национално равнище за оценка на обществените политики и постигания напредък в сферата на правосъдието и вътрешния ред, свързани с ефикасността и ефективността на съдебната система, противодействието на престъпността и корупцията, злоупотребите със средства по европейските предприсъединителни и структурни фондове и др. Като илюстрация ще бъде разгледана Стратегията за прозрачно управление и за превенция и противодействие на корупцията(2006 – 2008 г.) и Програмата за нейното изпълнение. В страната са разработени и приети Стратегия и Програма за прозрачно управление и за превенция и противодействие на корупцията(2006 – 2008 г.). Изпълнението на Стратегията се основава на няколко основни принципа: • Върховенство на закона за гарантиране ефективната защита на правата на човека, разделението на властите и равенство на всички граждани пред закона. • Добро управление и задължение правителството да предприеме ясни и ефективни действия, които напълно да удовлетворяват нуждите на гражданите. • Прозрачност и активни консултации с гражданското общество и бизнеса при формулирането на политики и в процеса на вземане на управленски решения. • Превенция на корупцията чрез предприемане на ефективни мерки от правителството по предварително идентифициране на причините и условията, които биха могли да доведат до корупционно поведение, и ограничаването и/или елиминирането им. • Ефективно противодействие на корупцията чрез въвеждане на механизми за бързо идентифициране и прекратяване на съществуващите корупционни практики. За реализацията на Стратегията се изготвя Програма за изпълнение на Стратегията за прозрачно управление и за превенция и противодействие на корупцията. Тази програма предвижда мерки в няколко основни сфери: I. Мерки в публичната сфера: 1. Превенция и противодействие на корупцията по високите етажи на властта. 78 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 2. Прозрачно партийно финансиране. 3. Мерки в централната и местната администрация. 4. Прозрачно и ефективно управление на системата на здравеопазването. 5. Прозрачно и ефективно управление на системата на образованието. 6. Предоставяне на качествени обществени и административни услуги. 7. Институции за независим контрол и ограничаване на политическата и административната корупция. 8. Ефективност на наказателната политика срещу корупцията. II. Мерки в стопанската сфера: 1. Прозрачно управление на обществените финанси. 1.1. Прозрачност и превенция на корупцията в администрирането на данъчните и митническите приходи. 1.2. Обществени поръчки и концесии. 1.3. Прозрачност в отношенията държава – бизнес: регламентиране на формите на публично-частното партньорство. 2. Утвърждаване на механизми за прозрачност в частния сектор: бизнес асоциации и корпоративно управление. III. Граждански контрол и активизиране на сътрудничеството с гражданското общество. 1. Институционализиране на гражданския контрол върху работата на администрацията, изработването и провеждането на политика на прозрачност. 2. Гражданско участие в превантивната дейност срещу корупцията. 3. Оценка на разпространението на корупцията и на ефективността на антикорупционните политики. 4. Сътрудничество между държавните органи и гражданските организации в усвояването на най-добрите международни практики. В Програмата е предвидено да се разработи система от индикатори за наблюдение и оценка на степента и ефективността на реализация на целите на Стратегията. За да подпомогне изпълнението на тази задача, Центърът за изследване на демокрацията предложи Система от индикатори 15 като механизъм за отчетност и оценка на резултатите от изпълнението на Стратегията и Програмата. Основната цел на Системата от индикатори е да се създаде надежден механизъм за наблюдение, отчетност и оценка на резултатите от изпълнението на Стратегията и Програмата в областта на превенцията и противодействието на корупцията и прозрачното управление. По-конкретните цели на тази система за оценка на Стратегията и Програмата са: 1. Да дава възможност за проследяване степента на постигане на целите на Стратегията. 2. Да оценява степента на изпълнение на конкретните мерки, включени в Програмата. 15 Мониторинг на антикорупционните реформи в България, Център за изследване на демокрацията, С., 2006. П РИЛОЖЕНИЕ 79 3. Да оценява степента на въздействие на Стратегията и Програмата върху равнището на корупция в страната. 4. Да се оценят връзките между целите на Стратегията и заложените в Програмата мерки. Изграждането на системата от индикатори за оценка на Стратегията и Програмата се оснавава на следните принципи: • индикаторите отразяват и оценяват ключовите цели, формулирани в Стратегията; • използвани са национално и международно апробирани методи и индикатори за оценка; • използвани са разнообразни източници на информация и методи за оценка; • съществува възможност за регулярно наблюдение на очакваните ефекти: добро управление и ограничаване разпространението на корупцията; • информацията за България е сравнима с информацията за останалите европейски страни; • осигурява се динамична съпоставимост на резултатите от извършваните оценки; • предвижда се публичност на резултатите от оценката. Изследователските методи, които се предвижда да се използват за оценка на Стратегията и Програмата, са няколко: Първо, експертни наблюдения(оценки и анализи от независими експерти и представители на НПО и граждански сдружения). Второ, самооценка на институциите и ведомствата, ангажирани с реализацията на Стратегията и Програмата. Трето, анализ на данни от официални статистически проучвания, ведомствени информационни системи, национални и международни изследвания. Четвърто, национални представителни изследвания на населението и бизнеса. Пето, изследвания на ползвателите на административни, социални, здравни и образователни услуги(Service Delivery Survey). Шесто, изследвания от типа„анонимен клиент” на различни публични услуги. Седмо, ежемесечен мониторинг на публикации в пресата, радиото и телевизията. Предвижда се оценката на изпълнението на мерките, включени в Програмата, да се извършва в няколко направления: 1. Наличие на предвидените за разработване закони, програми, анализи, планове, мерки и пр. 2. Качество на разработените закони, програми, анализи, планове, мерки и пр. 3. Количествени индикатори, отчитащи крайния резултат на предвидените мерки. 4. Адекватност на приложените мерки. 80 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ 5. Срочност на изпълнението/закъснението на съответните мерки. 6. Степен на реализация на мерките, включени в Програмата. 7. Ефективност на приложените мерки. П РИЛОЖЕНИЕ 81 2. МЕТОДИКА ЗА ОЦЕНКА НА КОНКРЕТНА МЯРКА Целта на настоящата методика е да илюстрира възможностите за оценка на Програмата за прозрачно управление и за превенция и противодействие на корупцията(2006 – 2008 г.) по отношение на една от предвидените в Програмата мерки в стопанската сфера (Обществени поръчки и концесии) – мярка 1.2.4. Поддържане на регистър на обществените поръчки в съответствие с изискванията за публичност, прозрачност, свободна и честна конкуренция в областта на обществените поръчки. В методиката се посочват специфичните източници на информация и методите за събиране на данни за оценка на мярката, както и конкретни индикатори(вкл. въпроси за определяне на техните стойности). Валидността и приложимостта на индикаторите за оценка на тази мярка зависят от прецизното дефиниране на целите, към които тя е ориентирана. Реализацията на тази мярка е насочена към постигането на няколко йерархично структурирани цели(Фигура 11). Ф ИГУРА 11. В ЗАИМОВРЪЗКА МЕЖДУ ОБЩА , КОНКРЕТНА И ОПЕРАТИВНА ЦЕЛ НА ОЦЕНЯВАНАТА МЯРКА �������� ��������� ��� ���������� ��� За оценка на мярката може да се използва система от индикатори, отнасящи се до степента на постигане на общата, конкретната и оперативната цел на създаването и поддържането на регистър на обществените поръчки. Основните групи индикатори за оценка изпълнението на тези цели могат да бъдат: 82 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Мярка Поддържане на регистър на обществените поръчки Цели Обща цел: Ограничаване на корупцията в стопанската сфера Конкретна цел: Ограничаване на корупцията при възлагането на обществени поръчки Оперативна цел: Публичност, прозрачност и отчетност на възлагането на обществени поръчки Групи индикатори Степен на разпространение и динамика на корупцията в стопанската сфера Оценка на стопанските ръководители и бизнесмени за равнището на корупцията в стопанската сфера Степен на разпространение и динамика на корупцията при възлагане на обществени поръчки Оценка на стопанските ръководители и бизнесмени за равнището, формите и динамиката на корупцията при възлагането на обществени поръчки Информативност на публичния регистър на обществените поръчки(брой, вид, големина, сектор, изпълнители на обществените поръчки) Аналитичност на информацията, съдържаща се в публичния регистър на обществените поръчки Всяка от предложените групи индикатори за оценка на общата, конкретната и оперативната цел може да бъде развита чрез система от специфични индикатори, които подлежат на емпирично наблюдение. Използва се балансиран набор от индикатори за оценка на мярката, тъй като единичните индикатори рядко измерват задоволително оценяваните цели и резултати. Стремежът при разработването на методиката за оценка на регистъра на обществените поръчки е да се използва информация предимно от вече съществуващи източници, отколкото да се събират нови данни. Когато това не е възможно, се предлагат методи(например експертни оценки), които не изискват големи разходи за следене стойностите на индикаторите. Поради ограничените ресурси методиката за оценка степента на постигане на общата, конкретната и оперативната цел на създаването и поддържането на регистър на обществените поръчки е приложена частично. В представените предварителни обобщени резултати от направената оценка са използвани най-вече налични данни за стойностите на конкретните индикатори. П РИЛОЖЕНИЕ 83 2.1. Индикатори, методи и източници на информация за оценка на общата цел По отношение на общата цел могат да се предложат няколко конкретни индикатора. Данни за тези индикатори могат да се получат от Системата за мониторинг на корупцията(СМК), разработена и реализирана от изследователска агенция„Витоша рисърч” и Центъра за изследване на демокрацията. Техните стойности се следят чрез представителни изследвания на българския бизнес, които се осъществяват периодично сред ръководители на държавни и частни стопански организации, бизнесмени и предприемачи. Периодът на провеждане и размерът на извадките на проведените изследвания в стопанската сфера са представени в Таблица 8. Т АБЛИЦА 8. П ЕРИОД НА ПРОВЕЖДАНЕ И РАЗМЕР НА ИЗВАДКИТЕ НА ИЗСЛЕДВАНИЯТА НА БЪЛГАРСКИЯ БИЗНЕС Период на полевата работа Януари 2000 Октомври 2000 Декември 2002 Март 2003 Юни 2003 Ноември 2003 Размер на извадката(брой стопански организации) 331 560 530 447 442 421 Период на полевата работа Февруари 2004 Април 2004 Октомври 2005 Януари 2007 Август 2008 Размер на извадката (брой стопански организации) 471 478 307 398 400 Източник: Витоша Рисърч. ОБЩА ЦЕЛ Ограничаване на корупцията в стопанската сфера Групи индикатори Конкретни индикатори І. Степен на разпространение и динамика на корупцията в стопанската сфера Корупционни действия – честота, брой и относителен дял на фирмите, участвали в корупционни транзакции; промяна в броя и относителния дял на тези фирми Равнище на корупционния натиск, оказван върху българските фирми; промяна в оказвания натиск Размер на неофициални плащания в стопанската сфера; промяна в размера на тези плащания ІІ. Оценка на стопанските ръководители и бизнесмени за равнището, формите и динамиката на корупцията в стопанската сфера Оценка на стопанските ръководители и бизнесмени за разпространеността на корупцията в техния бранш Оценка на стопанските ръководители и бизнесмени за практическата ефикасност на корупционните практики Оценка на значимостта на корупцията като обществен проблем 84 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ По-конкретните въпроси, които могат да служат като източник на информация за стойностите на предложените индикатори, са: Степен на разпространение и динамика на корупцията в стопанската сфера Корупционни действия В случаите, когато сте контактували със служители в обществения сектор, във връзка с дейността на вашата фирма, колко често през последната година ви се е налагало: Един отговор на всеки ред. Във всички случаи В повечето случаи Само в отделни случаи В нито един случай A Да дадете пари на служителя 1 2 3 4 B Да дадете подарък на служителя 1 2 3 4 C Да направите услуга на служителя 1 2 3 4 В случаите, когато сте контактували със служители в обществения сектор, във връзка с дейността на вашата фирма, колко често през последните три месеца ви се е налагало: Един отговор на всеки ред. Във всички случаи В повечето случаи Само в отделни случаи В нито един случай A Да дадете пари на служителя 1 2 3 4 B Да дадете подарък на служителя 1 2 3 4 C Да направите услуга на служителя 1 2 3 4 Корупционен натиск В случаите, когато сте контактували със служители в обществения сектор, колко често през последната година те: Един отговор на всеки ред. Във всички случаи В повечето случаи Само в отделни случаи В нито един случай A Са искали направо пари, подарък 1 2 3 4 или услуга B Не са искали директно, но са показвали, че очакват пари, подарък или услуга 1 2 3 4 П РИЛОЖЕНИЕ 85 Размер на корупционните плащания Според вас като цяло какъв е делът на неофициалните плащания в общите разходи на вашата фирма? До 5% 1 Между 6% и 10% 2 Между 11% и 20% 3 Между 21% и 30% 4 Над 30% 5 Няма неофициални плащания 6 Не може да прецени 7 Отказва да отговори 9 Оценка на стопанските ръководители и бизнесмените за равнището на корупцията в стопанската сфера Оценка на стопанските ръководители и бизнесмени за разпространеността и практическата ефикасност на корупцията в техния бранш В каква степен сте съгласни със следните твърдения? Един отговор на всеки ред. 1 – Напълно съгласен 2 – По-скоро съгласен 3 – По-скоро несъгласен 4 – Напълно несъгласен А За фирмите от моя бранш е утвърдена практика да се налага да плащат 1 2 3 4 „допълнителни суми”, за да могат да си вършат работата B Фирмите от моя бранш обикновено знаят предварително колко големи 1 2 3 4 трябва да бъдат„допълнителните суми”, които се очакват от тях C Дори когато фирмата плаща„допълнителни суми”, съществува опасението, 1 2 3 4 че може да бъде поискано още, например от друго длъжностно лице D След като фирмата плати исканата сума, обикновено услугата се извър1 2 3 4 шва така, както е уговорено E През последната година се увеличиха неофициалните плащания, с които 1 2 3 4 се заобикалят законите 86 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Значимост на корупцията като обществен проблем Според вас кои са трите основни проблема, пред които е изправена България днес? Отбележете до 3 отговора. А 1 Политическа нестабилност B 1 Корупция C 1 Ниски доходи D 1 Престъпност E 1 Безработица F 1 Замърсяване на околната среда G 1 Влошаващо се здравеопазване H 1 Високи цени I 1 Влошаващо се образование J 1 Друго(Моля, посочете): ........................................................................................................ За оценка степента на разпространение и динамиката на реалната и потенциалната корупция в стопанската сфера в СМК се използват два обобщаващи индекса: 1. Индекс на корупционните действия(реална корупция), който отразява реалното участие на стопанските субекти в различни корупционни практики и се изчислява въз основа на броя и честотата на извършените корупционни действия за определен период. 2. Индекс на корупционния натиск(потенциална корупция), който измерва опитите на представители на публичната сфера(политици, държавни служители, магистрати и др.) пряко или косвено да осъществяват натиск за получаване на пари, подаръци или услуги от представители на бизнеса. Индексът на реалната корупция в стопанската сфера намалява осезаемо – от 1,1 през ноември 2005 г. на 0,4 през август 2008 г., т.е. равнището на корупционна виктимизация е спаднало почти три пъти (Фигура 12). Намалява и корупционният натиск от страна на обществени и административни служители спрямо фирмите. Стойността на индекса, отразяващ равнището на корупционния натиск, спада от 2,6(ноември 2005) на 1,5 (август 2008 г.). Тези данни дават основание да се направи констатацията, че бизнес климатът в България постепенно се подобрява и нормализира. С постепенното регулиране на бизнес средата все по-малко бизнесмени споделят, че в техния бранш е утвърдена практика да плащат допълнителни неофициални суми, за да развиват бизнеса си. Намаляват както оценките за броя на случаите на осъществени неофициални плащания, така и делът на тези, които считат, че тези случаи се увеличават. П РИЛОЖЕНИЕ 87 Ф ИГУРА 12. Р АВНИЩЕ НА РЕАЛНАТА И ПОТЕНЦИАЛНАТА КОРУПЦИЯ ( MIN = 0, MAX = 10) ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ������� ������� ������� ������� ������� ������� ������� ������� ������� ������� ������������������ ������������������ ������������������� ��������������������� Източник: Витоша рисърч/СМК. Оценките на стопанските ръководители и бизнесмените за равнището на корупцията в стопанската сфера в СМК се синтезират в два обобщаващи индекса: Индекс на разпространението на корупцията – регистрира оценките на представителите на бизнеса за степента на разпространеност на корупционните действия в стопанската сфера. Индекс на практическата ефикасност на корупцията – отразява оценките на представителите на бизнеса за степента на превръщане на корупцията в ефективно средство за решаване на частни бизнес проблеми. Според бизнесмените степента на разпространение на корупцията в стопанската сфера на страната през последните години запазва високите си равнища, но през последните четири години намалява делът на стопанските ръководители, според които корупцията е ефективно средство за решаване на частни бизнес проблеми(Фигура 13). Това е и един от важните фактори, които водят до регистрираното намаляване на корупционните практики в стопанската сфера. Ф ИГУРА 13. О ЦЕНКИ НА БИЗНЕСА ЗА РАЗПРОСТРАНЕНИЕТО И ПРАКТИЧЕСКАТА ЕФИКАСНОСТ НА КОРУПЦИЯТА ( MIN = 0 MAX = 10) � ��� ��� ��� � ��� ��� ��� ��� ����������� ��� ��� ��� ��� ��� � ��� ���� ��� ��� ��� ��� � � ����������� � � � ������� ������� ������� ������� ������� ������� ������� ������� ������� ������� Източник: Витоша рисърч/СМК. ������������������������� ���������������������� Във всички периоди след 1998 г., когато започват редовните изследвания в рамките на СМК, корупцията винаги се нарежда сред петте най-значими обществени проблема. През 2004 – 2008 г. в резултат на стабилната макроикономическа обстановка в страната и добрите темпове на икономически растеж намалява актуалността на проблеми като безработица и бедност. Значимостта на корупцията като обществен проблем обаче се изостря и след 2007 г. той се превръща в първи по важност за българското население(Фигура 14). 88 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Ф ИГУРА 14. О ТНОСИТЕЛНА ВАЖНОСТ НА КОРУПЦИЯТА КАТО ОБЩЕСТВЕН ПРОБЛЕМ (%)* ���� ���� ��� ���� ���� ��� ���� ���� ���� ��� ���� ���� ���� ��� ���� ��� ���� ���� ��� � ��� ����� � ����� � ����� � ����� � ����� ���������������������������� �������� � ��� ����� * Относителни дялове на респондентите, посочили съответния проблем като най-важен за българското общество. Източник: Витоша рисърч. 2.2. Индикатори, методи и източници на информация за оценка на конкретната цел Специфични индикатори, които могат да се използват за оценка на постигането на конкретната цел за ограничаване на корупцията при възлагането на обществени поръчки, могат да бъдат: КОНКРЕТНА ЦЕЛ Ограничаване на корупцията при възлагането на обществени поръчки Групи индикатори Конкретни индикатори Брой, относителен дял и динамика на фирмите, участвали в корупционни транзакции при възлагане на обществени поръчки І. Степен на разпространение и динамика на корупцията при възлагането на обществени поръчки Степен на концентрация на корупционните сделки при възлагане на обществени поръчки Размер на корупционните плащания при възлагане на обществени поръчки и дял в общия им размер Общ размер и дял на обществените поръчки, при които Агенцията за държавна финансова инспекция(АДФИ) е открила нередности ІІ. Оценка на стопанските ръководители и на бизнесмените за равнището на корупцията при възлагане на обществени поръчки Честотата на случаите и относителен дял на процедурите за обществени поръчки в техния бранш, при които има корупционни практики Идентифицирани от стопанските ръководители и бизнесмените порочни практики при процедурите за възлагане на обществени поръчки Разпространеност на различни нарушения на законовите процедури за възлагане, изпълнение и контрол на обществените поръчки П РИЛОЖЕНИЕ 89 Някои по-конретни въпроси, чрез които може да се получи информация за стойностите на предложените индикатори, са: Степен на разпространение и динамика на корупцията при възлагането на обществени поръчки Корупционни действия при възлагане на обществени поръчки и размер на неофициалните плащания A. Налагало ли ви се е да плащате неофициално някакви суми или да направите подарък за спечелване на обществена поръчка? B. Ако да, какъв процент от стойността на обществената поръчка трябваше да платите неофициално? A. B. Процент от стойността на обществената поръчка Да Не % 1 2 Корупционен натиск при възлагане на обществени поръчки В случаите, когато сте участвали в процедури за възлагане на обществени поръчки, колко често през последната година служители или политици: Един отговор на всеки ред. Във всички случаи В повечето случаи Само в отделни случаи В нито един случай A Са искали направо пари, подарък 1 2 3 4 или услуга B Не са искали директно, но са показвали, че очакват пари, подарък или услуга 1 2 3 4 От АДФИ и АОП може да се получи информация за: 1. Регистрирани процедури за възлагане на обществени поръчки. 2. Проверени процедури. 3. Установени нарушения. по ЗОП; по НВОМП. 4. Непроведени процедури за възлагане на обществени поръчки. 5. Дял на констатирани нарушения спрямо всички проверени процедури за възлагане на обществени поръчки. 6. Дял на констатирани нарушения спрямо регистрираните договори за обществени поръчки. 90 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Оценка на стопанските ръководители и на бизнесмените за разпространението на корупцията при възлагане на обществени поръчки Честотата на случаите в бранша, при които има корупционни практики Според вас колко често в предприятията/фирмите във вашия бранш се срещат: Един отговор на всеки ред. Винаги В повечето случаи Понякога Никога Възлагане на държавни поръчки без конкурс или търг 1 2 3 4 Приемане на подкупи от служители или политици за въздействие при разпределяне на 1 2 3 4 държавни поръчки Дял на процедурите за обществени поръчки в бранша, при които има корупционни практики Според вас при какъв процент от търговете за обществени поръчки във вашия бранш има корупционни практики? Моля, запишете. % 888 Няма такива В каква степен сте съгласни със следното твърдение? Един отговор на всеки ред. 1 – Напълно съгласен 2 – По-скоро съгласен 3 – По-скоро несъгласен 4 – Напълно несъгласен За фирмите от моя бранш е утвърдена практика да се налага да плащат„допълнителни суми”, за да могат да печелят обществени 1 2 3 4 поръчки П РИЛОЖЕНИЕ 91 Идентифицирани порочни практики при процедурите за възлагане на обществени поръчки Какви бяха порочните практики при кандидатстването ви за обществена поръчка, с които сте се сблъскали през последните три години? Отбележете до 3 отговора, като заградите код“1”. А 1 Директно възлагане на поръчката без търг на определен доставчик B 1 Изкуствено раздробяване на стойността на поръчката, за да се избегне откритата тръжна процедура C 1 Даване на предимство на определен кандидат при техническата спецификация на заданието D 1 Манипулиране на предварително обявените критерии или отклонение от тях при класирането на офертите E 1 Безпричинна отмяна или прекратяване на тръжни процедури(например поради „неосигурено финансиране”) F 1 Липса на прозрачно и навременно огласяване на резултатите, за да се осуети обжалването от засегнати лица G 1 Последващо предоговаряне с победителя на по-изгодни условия H 1 Не съм се сблъсквал с порочни практики Данни за стойностите на по-голямата част от индикаторите, измерващи степента на разпространение на корупцията при възлагане на обществени поръчки и субективните оценки на стопанските ръководители, също се получават чрез представителни изследвания на българския бизнес. Например подобни изследвания се провеждат от изследователска агенция„Витоша рисърч” и Центъра за изследване на демокрацията както в рамките на Системата за мониторинг на корупцията, така и за оценка на скритата икономика в страната. Тези проучвания се осъществяват няколко пъти годишно сред ръководители на държавни и частни стопански организации, бизнесмени и предприемачи. Методът на регистрация е персонално стандартизирано интервю. Информацията за индикаторите, които се следят от АДФИ, може да се получи от отчетите за нейната дейност, представяни на официалния й сайт 16 . По данни на Системата за мониторинг на корупцията в стопанската сфера делът на фирмите, дали подкуп за спечелване на обществена поръчка, намалява от 54% през 2003 г. на 35% през 2005 г. и на 10% през януари 2007 г. Тези положителни резултати обаче трябва да се интерпретират внимателно, защото са получени и данни за нарастваща концентрация на корупционните сделки. Все по-малък е делът на фирмите, които участват в обявените търгове за обществени поръчки, като за последните шест години той намалява от над 40% през 2003 до под 10% през 2008 г. Същевременно по данни на Агенцията за обществени поръчки най-големите 25 възложители контролират над 45% от общата стойност на обществените поръчки през последните три години. 16 Агенция за държавна финансова инспекция(АДФИ), http:/www.adfi.minfin.bg 92 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Ф ИГУРА 15. Д ЯЛ ОТ СУМАТА ПО ДОГОВОРА , КОЙТО Е ПЛАТЕН ЗА ПОЛУЧАВАНЕ НА ПОРЪЧКА В ОБЩЕСТВЕНИЯ СЕКТОР (%) ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ��� ����� ���� ��� ��� ����� ��� ��� ��� ��� ������ ������� ���� ���� ���� ���� База: Респондентите, които са плащали за получаване на обществена поръчка. Източник: Витоша рисърч/СМК. ��� ��� ������ ������ Увеличават се размерите на подкупите за спечелване на обществени поръчки, което все по-трайно се обвързва с плащането на големи суми. Една пета от бизнесмените, които са успели да получат подобна поръчка, са платили над 5000 лв. подкуп за това. Заплащаните неофициално от бизнеса суми, свързани с получаването на обществени поръчки, са средно около 7% от общата сума на сделката. Над половината от фирмите, които са дали подкуп, за да си осигурят обществена поръчка, са платили неофициално между 6 и 10% от нейната обща стойност. Увеличават се и подкупите в размер над 20% от договорната сума(Фигура 15). През 2005 г. общата стойност на процедурите за обществени поръчки, в които са констатирани нарушения при извършен финансов одит или които не са били проведени, въпреки че това се изисква според ЗОП, е над 600 млн. лв. Това представлява приблизително 56% от общата стойност на одитираните обществени поръчки. Ако се приеме, че този дял се отнася за всички обществени поръчки, общата стойност на нарушените процедури би била между 2,2-2,8 млрд. лв. При установения среден дял на подкупа за получаване на обществена поръчка от около 7% от размера на сделката, общият обем на неофициалните плащания би бил най-малко 150-200 млн. лв. През 2007 г. делът на нарушените процедури, установени от АДФИ, към общия дял регистрирани процедури за обществени поръчки остава сравнително висок – 6,4% като стойност и 10,7% спрямо общия брой на извършените проверки. Като следствие от констатираните проблеми и нарушения в процедурите по провеждане на обществени поръчки в страната може да се предположи, че финансовите загуби през 2008 г. са в размер на 25–30% от стойността на обществени поръчки, или около 1,5 млрд. лв. 17 Около 60% от собствениците и мениджърите на фирми през януари 2007 г. оценяват корупционните практики при обществените поръчки като„широко разпространени”(през декември 2002 г. този дял е бил 82,3%, а през април 2004 г. – 76,1%). Според около 85% от респондентите в проучване на Българската стопанска камара сред българския бизнес през 2005 г. в процедурите по обществените поръчки има незаконни и корупционни практики, а 17 По-подробно методиката за оценка на финансовите загуби при възлагането на обществени поръчки е представена в Антикорупционните реформи в България: основни резултати и рискове, Център за изследване на демокрацията, С., 2007. П РИЛОЖЕНИЕ 93 70% са споделили, че са се сблъсквали с такива практики в собствения си опит 18 . Изследване на българския бизнес 19 дава възможност да се идентифицира и разпространеността на различни нарушения на законовите процедури за възлагане, изпълнение и контрол на обществените поръчки. Те включват както несъобразяване или заобикаляне на Закона за обществените поръчки, така и множество форми на злоупотреби при формулиране на критериите за оценка и класиране на кандидатите; при определяне на техническите спецификации и параметри на доставките; при изпълнението на договорите и др. Някои от най-разпространените практики на злоупотреби при обществените поръчки 20 (Фигура 16): • Сключване на договори за доставка без тръжна процедура или конкурс в разрез със закона. Тези нарушения се отнасят най-вече до по-малки сделки в секторите на образованието, здравеопазването и местното самоуправление. Общият размер на злоупотребите обаче е значителен – за 2005 г. АДФИ(тогава АДВФК) е констатирала непроведени процедури за 98,5 млн. лв. • Раздробяване стойността на поръчката под минималните прагове, изисквани от ЗОП, за провеждане на търгове. Според някои оценки между една трета и една четвърт от потреблението в обществения сектор се осъществява извън процедурите на ЗОП. • Формулиране на критерии за оценка на кандидатите за изпълнители на обществени поръчки, които дават възможност за дискреция и субективизъм при определяне на победителите в търговете. Тези критерии се характеризират с висока степен на абстрактност и неопределеност, често визират качествени, технически и капацитетни показатели, които не могат да се квантифицират. Това създава предпоставки за манипулиране на решението за резултатите от проведените търгове. • Ограничаване на конкуренцията чрез определяне на такива параметри на доставките/услугите, които изключват част от участниците в търговете. В редица случаи в тръжната документация се поставят изисквания, на които отговаря само определен кандидат. • Финансово-административни ограничения пред участниците. Те включват случаи на изкуствено завишаване на разходите за участие в търговете, кратки срокове за изготвяне на офертите, отмяна или прекратяване на тръжните процедури и др. • Предоговаряне на условията на обществените поръчки. Разпространена практика е в хода на изпълнението на обществените поръчки да се променят договорените цени, сроковете или качествените параметри на доставяните стоки или услуги. Това дава възможност да се печелят обществени поръчки с офериране на изгодни условия, които впоследствие се изменят в ущърб на останалите кандидати и на обществения интерес. 18 Българска стопанска камара(2005), Мониторинг на обществените поръчки: най-често срещани нарушения и корупционни практики, С., април 2005, с. 10. 19 Изследването е проведено от агенция„Витоша рисърч” през януари 2007 г. сред собственици и мениджъри на стопански организации(N= 398). 20 Голяма част от тези практики са идентифицирани в анализ на БСК„Мониторинг на обществените поръчки: най-често срещани нарушения и корупционни практики”, С., 2005. Те са по-подробно описани и анализирани в доклад„Корупцията при обществените поръчки: рискове и противодействие”, ЦИД, 2006, с. 30-34 с автори К. Пашев, А. Дюлгеров, Г. Касчиев. 94 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Ф ИГУРА 16. П РАКТИКИ , С КОИТО СА СЕ СБЛЪСКВАЛИ УЧАСТНИЦИ В ПРОЦЕДУРИ ЗА ОБЩЕСТВЕНИ ПОРЪЧКИ (% ОТ УЧАСТВАЛИТЕ В ТАКИВА ПРОЦЕДУРИ ) ������������������ ������������� �������� ���������������� ���������� ����������������� ������������� �������������� ��������� ��������������������� ��������������������� �������������� ������������������� �������������������� ����������� ����������������� ������������������� ������������ ������������������� ������������ ���� ���� ���� ���� ���� ���� ��� �������������������� ������������������ ���� � � �� �� �� �� �� �� �� �� Източник: Витоша рисърч. 2.3. Индикатори, методи Специфични индикатори, които могат да се използват за оценка на и източници на информация за оценка на оперативната цел(осигуряване на публичност, прозрачност и отчетност на възлагането на обществени поръчки) чрез създаването на регистър на обществените поръчки, например са: оперативната цел ОПЕРАТИВНА ЦЕЛ Публичност, прозрачност и отчетност на възлагането на обществени поръчки Групи индикатори Конкретни индикатори Достъпност на регистъра на обществените поръчки І. Достъпност и информативност на публичния регистър на обществените поръчки Пълнота на предоставяната информация за сключените договори за възлагане на обществени поръчки и техните характеристики(предмет, размер, процедура на договаряне, изпълнител и др.) Оценка на стопанските ръководители и бизнесмени за практическата полезност на регистъра на обществените поръчки Възможност за оценка размера/стойността на обществените поръчки (общо и по сектори) ІІ. Аналитичност на информацията в публичния регистър на обществените поръчки Възможност за търсене на обществени поръчки по определени критерии (предмет, размер, сектор, изпълнител и др.) Възможност за определяне дела на възложените обществени поръчки чрез различни форми на договаряне(открити и ограничени процедури) Възможност за оценка степента на концентрация на обществените поръчки в определена група фирми/лица П РИЛОЖЕНИЕ 95 Оценяването на регистъра на обществени поръчки от гледна точка публичността, прозрачността и отчетността на цялостния процес за възлагането на обществени поръчки се основава преди всичко на експертни оценки и мнения на използващите регистъра представители на бизнеса, административни служители, анализатори, журналисти. Възможно е да се използват и представителни изследвания на бизнеса, като примерните въпроси могат да бъдат: Достъпност и информативност на публичния регистър на обществените поръчки Каква част от нужната ви информация за сключените договори за обществени поръчки може да откриете в регистъра на обществените поръчки? Един отговор. 1 Цялата информация, която ми е необходима 2 По-голямата част от информацията, която ми е необходима 3 Малка част от информацията, която ми е необходима 4 Не мога да открия информацията, която ми е необходима 5 Не знае/Не отговорил Как оценявате практическата полза за вас и вашия бизнес от създаването на регистър на обществените поръчки? Един отговор. 1 Имам голяма полза от него 2 Помага ми донякъде 3 Помага ми само в отделни случаи 4 Нямам никаква полза от него 5 Не знае/Не отговорил Аналитичност на информацията в публичния регистър на обществените поръчки Дава ли възможност регистърът на обществените поръчки да се оцени общата стойност на сключените договори за възлагане на обществени поръчки? Един отговор. 1 Да 2 Не 9 Не знае/Не отговорил 96 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Дава ли възможност регистърът на обществените поръчки да се открият всички сключени договори за възлагане на обществени поръчки в определен сектор? Един отговор. 1 Да 2 Не 9 Не знае/Не отговорил Дава ли възможност регистърът на обществените поръчки да се определи делът на възложените обществени поръчки чрез различни форми на договаряне(открити и ограничени процедури)? Един отговор. 1 Да 2 Не 9 Не знае/Не отговорил Дава ли възможност регистърът на обществените поръчки да се определи колко договора за обществени поръчки са сключени от определена фирма? Един отговор. 1 Да 2 Не 9 Не знае/Не отговорил Достъпност и информативност на публичния регистър на обществените поръчки Агенцията по обществени поръчки(АОП) поддържа Регистър на обществените поръчки(РОП). Той е публичен, а достъпът до него е неограничен и безплатен посредством интернет страницата на АОП. В регистъра се публикуват всички обявления, решения и информации за сключени договори от възложителите, за да се гарантират публичност и прозрачност на процеса на възлагане на обществени поръчки. На интернет страницата на Агенцията за обществени поръчки се публикува и информация за издадените от Комисията за защита на конкуренцията определения, решения и друга информация за обжалвани процедури за обществени поръчки. Регистърът използва стандартизирани образци на документи в зависимост от нормативния акт, по който се обявява обществената поръчка и нейната стойност. Те са аналогични на използваните в Европейския съюз и съдържат необходимата информация за осигуряване на публичност и прозрачност на процедурите по възлагане на обществените поръчки. За тяхното попълване е разработен специализиран софтуерен продукт„Редактор на форми”. За упълномощените потребители на РОП, които използват електронен подпис, са осигурени два механизма за вписване на документи: 1. Попълване на онлайн образци в страницата на АОП. П РИЛОЖЕНИЕ 97 2. Използване на„Редактора на форми”, чрез който се извършва автоматично въвеждане на документи в базата данни на РОП. В тези случаи не се изисква хартиен носител и отпада задължението за изпращане на обявленията в Държавен вестник, което се извършва автоматично от електронната система. Но все още не всички обществени поръчки се регистрират в публичния регистър. Важен индикатор за оценка на информативността на РОП са съдържанието и степента на детайлност на информацията за процедурите по възлагане на обществени поръчки. На 16.10.2008 г. Народното събрание прие на второ четене Закон за изменение и допълнение на ЗОП. С направените промени в него се завишават изискванията за контрол по реалното изпълнение на договорите за обществени поръчки. Възложителите трябва да отчитат изпълнението на всеки договор пред АОП, а агенцията от своя страна трябва да направи тази информация публична и общодостъпна. Във връзка с това в закона е предвидено обогатяване и разширяване на данните, публикувани в Регистъра на обществените поръчки: „Чл. 22. Регистърът на обществените поръчки съдържа: 1.(изм. – ДВ, бр. 37 от 2006 г., в сила от 01.07.2006 г.) решенията за откриване и прекратяване на процедури за възлагане на обществени поръчки, както и решенията за удължаване на срока за подаване на оферти или заявления за участие; 2. обявленията, предвидени за вписване в регистъра; 3. информацията за възложените обществени поръчки; 4.(нова – ДВ, бр. 94 от 2008 г., в сила от 01.01.2009 г.) информация за изпълнените договори за обществени поръчки; 5.(предишна т. 4 – ДВ, бр. 94 от 2008 г., в сила от 01.01.2009 г.) друга информация, определена в Правилника за прилагане на закона.” Приоритетен проблем, който трябва да се реши с промените в ЗОП, е липсата на публичнодостъпен източник на информация за изпълнението на обществените поръчки. Според утвърдената досега практика изпълнителят отчита изпълнението на обществената поръчка пред възложителя, с който е сключил договор. Тази информация не се обработва централизирано, както например за сключването на договорите, което ограничава нейната публичност и възможностите за обществен контрол на изпълнението на обществените поръчки. Аналитичност на информацията в публичния регистър на обществените поръчки Регистърът на обществените поръчки дава възможност за търсене на по-широк набор от критерии. На страницата на Агенцията за обществени поръчки в основното меню може да се осъществи търсене по: • описание чрез ключови думи; • код по Класификатор на обществените поръчки(КОП); 98 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ • уникален номер на поръчката; • срок на получаване на документация. В подменю„Разширено търсене” то може да се направи и по няколко допълнителни критерия: 1. По данни за поръчката: • брой, година и период на обявяване в Държавен вестник; • вид на процедурата; • обект на поръчката; • стойност на поръчката; • статус. Създадена е възможност и за търсене по „Заключение от предварителен контрол”. 2. По данни за възложителя: • ключови думи; • БУЛСТАТ; • партида; • статут. Възможно е да се осъществи контрол за допълнителни съвпадения в „клонове и централи”,„финансирани и финансиращи”,„обединения и членове”,„предшественици и наследници”. 3. По данни за възложителя: • ключови думи. 4. По планирани обществени поръчки и системи за предварителен подбор: • тип на документа. 5. По информация за документа/преписката: • дата/период на публикуване на документа; • документи без присъдена преписка, по тип; • преписката да съдържа документ(и) от тип; • преписката да НЕ съдържа документ(и) от тип; • документи за участие. Съществува и възможност да се създават шаблони за търсене по набор от критерии, което позволява да се конкретизира и фокусира търсенето. Според експертни оценки 21 Регистърът на обществените поръчки е добър източник на информация за конкретните процедури по възлагане на обществени поръчки, но не и за системен мониторинг на процеса и идентифициране на рискови области. Основната причина за това е, че Регистърът на обществените поръчки не дава възможност за получаване на агрегирани данни и обобщени статистически индикатори по сектори на възлагане и характеристики на доставчи21 Вж. например К. Пашев, А. Дюлгеров, Г. Касчиев, Корупцията при обществените поръчки: рискове и противодействие, Център за изследване на демокрацията, С., 2006, с. 64-65. П РИЛОЖЕНИЕ 99 ците. Например няма възможност да се получи агрегирана информация за общата стойност на сключените договори за възлагане на обществени поръчки в определен икономически сектор. Регистърът на обществените поръчки не предоставя и възможност за получаване на обобщени данни за дела на възложените обществени поръчки чрез различни форми на договаряне(открити и ограничени процедури). За оценка на степента на концентрация на обществените поръчки в определен кръг изпълнители е целесъобразно да съществува възможност от Регистъра на обществените поръчки да се получава информация колко договора за обществени поръчки са сключени от определена фирма. Развитието на Регистъра на обществените поръчки с оглед осигуряването на по-голяма публичност, прозрачност и отчетност на възлагането на обществени поръчки би трябвало да се осъществява в няколко основни посоки: Първо, по-широк обем на предоставяната информация за всяка процедура за възлагане на обществена поръчка. Второ, предоставяне на информация за изпълнението на обществените поръчки, както е предвидено в Закона за изменение и допълнение на ЗОП, ал. 22, т. 4. Трето, създаване на възможност за получаване на обобщени данни и агрегирана статистическа информация относно стойността и вида на обществените поръчки(общо и по сектори). Във връзка с това проблем е конфиденциалността на информацията, свързана с процедурите по възлагане на обществените поръчки. В ЗОП съществува възможност както възложителите, така и изпълнителите на обществени поръчки да посочват коя част от документацията има конфиденциален характер и не подлежи на публично разкриване. Това създава условия за ограничаване на достъпа до значителна част от информацията и документацията по обществените поръчки. По принцип обаче, договорите за обществените поръчки с всичките им приложения и анекси не могат да имат конфиденциален характер и да остават тайна за обществото. Поверителност би трябвало да се осигури само за предвидена от закон информация, отнасяща се до лични данни, класифицирана информация, авторски права и др. 101 ЗАКЛЮЧЕНИЕ Представянето в учебно-методическото ръководство на някои обобщаващи теоретични, методологически и практически характеристики на оценяването на публични политики и програми демонстрира комплексността, многомерността и актуалността на тази проблематика. В България тепърва предстои да се утвърди системното и задълбочено използване на цялостния инструментариум за извършване на мониторинг и оценки на публични политики и програми. Подценяването на тези практики е и една от причините за сравнително ниската степен на подготвеност на страната да се приспособи към изискванията и предизвикателствата на членството в Европейския съюз. Ограниченото извършване на мониторинг и оценка на публичните политики и програми доведе и до редица проблеми с използването на европейските предприсъединителни и структурни фондове, прилагането на хармонизираното европейско законодателство, недостатъчния капацитет на българската администрация. Не се обръщаше и достатъчно внимание на заинтересованите страни и засяганите от прилаганите политики и програми институции, организации, целеви групи, бенефициенти. Невинаги се вземаха предвид всички рискове и странични ефекти на публичните политики и програми. В този контекст познаването и използването на методите и техниките за мониторинг и оценка на публични политики и програми са необходимо условие за доброто, ефективно и отговорно управление. Те са необходими и от гледна точка на по-активното обществено участие, както и включването на всички заинтересовани страни в разработването, прилагането, мониторинга и оценката на публичните политики и програми. Учебно-методическото ръководство само се докосва до тази огромна теоретична и приложна област с ключово значение за общественото развитие на страната. Неговата цел е да направи синтезирано въведение в нея, да представи накратко международния опит и да обърне внимание върху първите стъпки в мониторинга и оценката на публични политики и програми в страната. В следващите две части на ръководството авторът се надява да доразвие и да обогати познанията и практическите умения на читателите, като се концентрира преди всичко върху добрите европейски практики, институционалните форми, технологичните процедури, методите и инструментариума за извършването на мониторинг и оценки на публични политики и програми. 103 БИБЛИОГРАФИЯ Българска стопанска камара(2005), Мониторинг на обществените поръчки: най-често срещани нарушения и корупционни практики, С. Мониторинг и оценка на програмите, финансирани от ФАР. URL: www.e-finance-bg.net/uploads/education/17_lection4.doc Наръчник за прилагане, мониторинг и оценка на политики и законодателство в България. Консорциум„Sema-Agrer-ENA” и администрация на Министерския съвет на Република България; проект ФАР BG-0103.01“Стратегическо планиране и координация”. Ръководство за стратегическо планиране и разработване на политики в България. Консорциум„Sema-Agrer-ENA” и администрация на Министерския съвет на Република България; проект ФАР BG0103.01„Стратегическо планиране и координация”. Ръководство за обществени консултации в България. Консорциум „Sema-Agrer-ENA” и администрация на Министерския съвет на Република България; проект ФАР BG-0103.01„Стратегическо планиране и координация”. Ръководство за оценка на въздействието в България. Консорциум „Sema-Agrer-ENA” и администрация на Министерския съвет на Република България; проект ФАР BG-0103.01„Стратегическо планиране и координация”. Пашев К., Н. Вълев, Р. Брусарски(2007), Оценка на въздействието на регулациите. Практически наръчник, Асоциация за мониторинг на управлението, УИ„Св. Климент Охридски“, С. Пашев, К. А. Дюлгеров, Г. Касчиев(2006), Корупцията при обществените поръчки: рискове и противодействие, Център за изследване на демокрацията, С. Център за изследване на демокрацията(2006), Мониторинг на антикорупционните реформи в България, С. Център за изследване на демокрацията(2007), Антикорупционните реформи в България: основни резултати и рискове, С. Apap, Juanna, ed.(2004), Justice and Home Affairs in the EU. Liberty and Security Issues after Enlargement, CEPS. Commission of the European Communities. Brussels, 21.10.2004{Sec (2004)1377}. Commission Staff Working Paper. Impact Assessment: Next Steps. In Support of Competitiveness and Sustainable Development. Commission of the European Communities. Brussels, 25.7.2001{COM (2001) 428 final}. European Governance. A White Paper. Commission of the European Communities. Commission Staff Working Document. Impact Assessment Board Report for 2008. Accompanying the Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions. Third Strategic Review of Better Regulation in the European Union{COM(2009) 15 final}. Commission of the European Communities. Communication from the 104 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Commission on the Collection and Use of Expertise by the Commission: Principles and Guidelines.„Improving the Knowledge Base for Better Policies”{COM(2002) 713 final}. Communication from the Commission on Impact Assessment{COM (2002) 0276 final}. Communication from the Commission to the Council and the European Parliament – Better Regulation for Growth and Jobs in the European Union{COM(2005) 97};{SEC(2005) 175}. Communication from the Commission to the Council, the European Parliament, the European Economic and Social Committee and the Committee of the Regions – A Strategic Review of Better Regulation in the European Union{COM(2006) 690 final};{COM(2006) 691 final}. Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – Third Strategic Review of Better Regulation in the European Union{COM(2009) 16 final};{COM(2009) 17 final}; {SEC(2009) 55}. Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – Second Strategic Review of Better Regulation in the European Union{COM(2008) 33 final};{COM(2008) 35 final};{SEC(2008) 120}. Communication to the Commission from Mrs. Schreyer in Agreement with Mr. Kinnock and the President. According to Action 16 of the Action Plan for Reform. Focus on Results: Strengthening Evaluation of Commission Activities{SEC(2000) 1051}. Cullen, D., J. Monar, J. Monar, P. Myers(1996), Cooperation in Justice and Home Affairs. An Evaluation of the Third Pillar in Practice, Brussels(European Interuniversity Press). European Commission. Report from the Commission on Subsidiarity and Proportionality(15th Report on Better Lawmaking, 2007). European Commission for the Efficency of Justice(CEPEJ), Working Group on the Evaluation of Judicial Systems(CEPEJ-GT-EVAL)(2009). 12th meeting, 12-13 March. Meeting report. URL: https://wcd.coe.int/ViewDoc.jsp?id=1428977&Site=COE European Commission. Annex to the Report from the Commission – „Better Lawmaking 2006” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(14th Report){SEC(2007)737}. European Commission. Annex to the Report from the Commission – „Better Lawmaking 2005” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(13th report){SEC(2006) 737}. European Commission. Annex to the Report from the Commission – „Better Lawmaking 2004” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(12th report){SEC(2005) 364}. European Commission. Annexes to the Impact Assessment Guidelines, 105 15 January 2009. European Commission. Commission Report to the European Council – Better Lawmaking 2001(Pursuant to Article 9 of the Protocol to the EC Treaty on the Application of the Principles of Subsidiarity and Proportionality). European Commission. European Commission Impact Assessment – Discussion with Stakeholders. 28 June 2007, Centre Borschette, Brussels.„Enhancing Impact Assessment”. Closing Speech by Catherine Day, Secretary General of the European Commission. European Commission. Impact Assessment Board – Report for the year 2007 – Commission Staff Working Document – Accompanying Document to the Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – Second Strategic Review of Better Regulation in the European Union{COM(2008) 32 final}. European Commission. Impact Assessment Guidelines, 15 January 2009. European Commission. Report from the Commission –„Better Lawmaking 2006” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(14th Report) {SEC(2007)737}. European Commission. Report from the Commission –„Better Lawmaking 2005” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(13th report){SEC(2006) 737}. European Commission. Report from the Commission –„Better Lawmaking 2004” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(12th report){SEC(2005) 364}. European Commission. Report from the Commission„Better Lawmaking 2003” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(11th Report). European Commission. Report from the Commission –„Better Lawmaking 2002” Pursuant to Article 9 of the Protocol on the Application of the Principles of Subsidiarity and Proportionality(10th Report). European Commission. The Evaluation Partnership. Evaluation of the Commission’s Impact Assessment System. FINAL REPORT. European Commission. The Evaluation Partnership. Evaluation of the Commission’s Impact Assessment System. FINAL REPORT – Executive Summary. European Commission. The Evaluation Partnership. Evaluation of the Commission’s Impact Assessment System. Annexes to the FINAL REPORT: Methodology and Survey Results, 20 Impact Assessments Quality Assessments, 6 Case Study Reports. Great Britain: Parliament: House of Lords: European Union Committee, Julian Grenfell, Lord Grenfell. The Treaty of Lisbon: an Impact Assessment, 10th Report of Session 2007-08, Vol. 2: Evidence. The Stationery Office, 2008 GUIDE to the Evaluation of Socioeconomic Development. 106 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ URL: http://ec.europa.eu/regional_policy/sources/docoffic/working/ sf2000_en.htm Home Affairs Committee, Parliament, Great Britain, House of Commons (2007). Justice and Home Affairs Issues at European Union Level: third Report of Session 2006-07, Vol. 2: Oral and Written Evidence, The Stationery Office. House of Lords European Union Committee, Stationery Office, The (2008). Europol: Coordinating the Fight Against Serious and Organised Crime. Huddleston, T.(2009), How To Evaluate the Promotion of Integration and Measure Its Effects? Experiences in the EU. URL: http://www.unhcr.ch/include/fckeditor/custom/File/Huddelston.pdf Inter-Institutional Common Approach to Impact Assessment(IA). Lynch, Ph., N. Neuwahl, G. Wyn Rees, Reforming the European Union: from Maastricht to Amsterdam, Pearson Education, 2000. Mainstreaming Public Participation in Economic Infrastructure Projects (2000), Overseas Development Institute. Briefing Paper 1998(3) July; Participation and Social Assessment. Tools and Techniques. The World Bank, Washington, D.C. Miles, L.(2005), The European Union: Annual Review 2004/2005, WileyBlackwell. Reitbergsen-McCracken, J. and D. Narayan(1998), Participation and Social Assessment Tools and Techniques, IBIRD/World Bank, Washington. 107 За автора на учебно-методическото ръководство Учебно-методическото ръководство е разработено въз основа на няколкогодишната практика на автора в качеството му на координатор на социологическата програма на Центъра за изследване на демокрацията(ЦИД) и директор„Изследвания” на агенция„ Витоша рисърч”. Авторът участва като експерт, координатор и ръководител в редица изследователски и консултантски проекти за мониторинг и оценка на публични политики и програми: А) Оценки на политики и програми • 2009, Оценка на дейността на Комисията по превенция и противодействие на корупцията по изпълнението на Стратегията за прозрачно управление и за превенция и противодействие на корупцията за периода 2006 – 2008 г. от екип на няколко неправителствени организации(Център за изследване на демокрацията, Център за икономическо развитие, Фондация„Аксес”, Асоциация„Прозрачност без граници”, Фондация за реформа в местното самоуправление); • 2007 – 2008, Ситуационен анализ на децата и жените в България, ПРООН и УНИЦЕФ; • 2007, Оценка и прогнозиране на потребностите на работодателите от работна сила с определена квалификация, Министерство на труда и социалната политика; • 2007, Оценка на потребностите от обучение на съдиите в Грузия, International Development Law Organisation(IDLO); • 2005, Оценка на потребността от обучение на съдии в Киргизстан, IDLO; • 2006, Проучване и оценка на иновационния потенциал на българските фирми, Фондация„Приложни изследвания и комуникации”; • 2006, Оценка на готовността, потребностите и участието на българските малки и средни предприятия в усвояването на Структурните фондове на Европейския съюз, Министерство на икономиката и енергетиката; • 2006, Социална оценка на причините за отпадане от училище в България, УНИЦЕФ, България; • 2003 – 2004, Оценка на потребностите от развитие на селските региони в България, Организация по прехрана и земеделие към ООН; • 2003, Оценки на резултатите от развитието 1997 – 2002 и дейността на ПРООН в България; • 2003, Оценка на дейността и имиджа на Световната банка в България; • 2002, Модел за оценка на социално-икономическото развитие на община Разлог; • 2002, Социална оценка на микропроектите, реализирани по програма„Интегрирано развитие на район Перник” на Министерството на труда и социалната политика; • 2002, Оценка на напредъка на България към устойчиво развитие в рамките на процеса РИО+10, ПРООН; 108 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ • 2002, Оценка на рисковете от възникване на конфликти в България, Американска агенция за международно развитие (USAID); • 2002, Оценка на капацитета на МТСП за управление на програми и фондове на Европейския съюз; • 2001, Оценка на ползвателите на жилищни микропроекти за потенциални нискодоходни групи, Световна банка; • 2001, Очаквания и оценки на ползвателите за резултатите от микропроектите, осъществявани от Фонда за регионални инициативи; • 2000, Социални оценки на инфраструктурни проекти, реализирани от Фонда за регионални инициативи; • 1999, Оценка на въздействието на микропроектите, осъществявани от Фонда за регионални инициативи за намаляване на бедността. Б) Разработване и реализация на мониторингови системи • 1998 – 2009, Система за мониторинг на корупцията, разработена и реализирана от Центъра за изследване на демокрацията и агенция„Витоша рисърч”; • 2002 – 2009, Синтетични индикатори за мониторинг на скритата икономика, Център за изследване на демокрацията; • 2006 – 2008, Система от индикатори за оценка на резултатите от осъществяваните мерки за ограничаване на корупцията и повишаване на прозрачността на управлението, Център за изследване на демокрацията; • 2000 – 2002, Регионален корупционен мониторинг, Инициативата за правно развитие на Югоизточна Европа(Southeast Europe Legal Development Initiative), Център за изследване на демокрацията; • 2003 – 2007, Индикатори за мониторинг на готовността и степента на използване на нови информационни и комуникационни технологии(e-Readiness индикатори), Център за изследване на демокрацията и Фондация„Приложни изследвания и комуникации”. Авторът е редактор и съавтор на методическото пособие„Социални оценки”, София, ПРООН, 2000. 109 ПУБЛИКАЦИИ НА ЦЕНТЪРА ЗА ИЗСЛЕДВАНЕ НА ДЕМОКРАЦИЯТА Корупция и контрабанда: мониторинг и превенция. Второ преработено и допълнено издание, С., 2000. ISBN 954-477-086-0 Контрабандните канали в Югоизточна Европа, С., 2002. ISBN 954-477-098-4 Антикорупция, Учебно помагало, С., 2003, 2 разширено изд. ISBN 954-477-109-3 Доклад за оценка на корупцията 2003, С., 2004. Институцията омбудсман в Европа и България, С., 2003. ISBN 954-477-110-7 Корупция и антикорупция, С., 2003. ISBN 954-477-102-6 Пазарът на наркотици в България, С., 2003. ISBN: 954-477-111-5 Институцията омбудсман в Европа и България: правна същност и практика, С., 2004. ISBN 954-477-122-0 Скритата икономика в България, С., 2004. ISBN 954-477-120-4 Корупционни практики и превенция на корупцията, С., 2004. ISBN 954-477-113-1 Партньори в престъпността: рисковете от симбиозата между сектора за сигурност и организираната престъпност в Югоизточна Европа, С., 2004. ISBN: 954-477-114-X Българският износ на оръжие: оценка на контролния механизъм върху експорта на малки оръжия и леко въоръжение, С., 2004. ISBN 954-477-116-6 Транспорт, контрабанда и организирана престъпност, С., 2004. ISBN 954-477-118-2 Институцията омбудсман в България, С., 2005. ISBN 954-477-130-1 Антикорупционните реформи в България, С., 2005. ISBN 954-477-128-1 110 М ОНИТОРИНГ И ОЦЕНКА НА ПУБЛИЧНИ ПОЛИТИКИ И ПРОГРАМИ Корупцията при данъчното облагане. Предизвикателства пред данъчната политика и администрация, С., 2005. ISBN: 954-477-131-X Тенденции на престъпността в България: полицейска статистика и виктимизационни изследвания, С., 2005. ISBN 954-477-125-5 Съдебната реформа: Прокуратурата и разследващите органи в контекста на членството в Европейския съюз, ред. Мария Йорданова, Димитър Марков, С., 2005. ISBN: 954-477-133-6 Съдът, Прокуратурата и разследващите органи в държавите – членки на Европейския съюз, и страните кандидатки, С., 2005. ISBN 954-477-129-8 Антикорупционните реформи в България на прага на членството в Европейския съюз, С., 2006. ISBN-10: 954-477-137-9 ISBN-13: 978-954-477-137-9 Антикорупционните реформи в България. Основни резултати и рискове, С., 2007. ISBN: 978-954-477-145-4 Престъпление без наказание. Противодействие на корупцията и организираната престъпност в България, С., 2009. ISBN: 978-954-477-157-7 Конвенционалната престъпност в България: равнища и тенденции, С., 2009. ISBN 978-954-477-161-4 Полицията в модерното общество: необходимата реформа в България, С., 2009. ISBN 978-954-477-159-1