Как проверять доказательства
Научитесь проверять источник, сравнивать результаты и понимать, какие выводы данные пока не позволяют сделать.
Что позволяет утверждать каждый источник
Закон или нормативный акт
Позволяет изучитьКакое правило установлено, для кого и с какого момента.
ОграничениеТекст правила не доказывает, что оно соблюдалось.
Страница учреждения
Позволяет изучитьКак учреждение описывает программу, свои действия и записи.
ОграничениеСамо по себе описание не доказывает, что именно программа вызвала опубликованные результаты.
Оценка воздействия
Позволяет изучитьКакую часть изменения можно отнести к вмешательству согласно использованному методу.
ОграничениеВывод зависит от качества данных, сравнения и контекста. Он не гарантирует такого же эффекта в другой стране, в другое время или при другом масштабе.
Моделирование
Позволяет изучитьЧто произошло бы при принятых предпосылках и зависимостях.
ОграничениеРасчёт не превращает предпосылки в факты. Изменение гипотезы может изменить вывод.
Успешный случай помогает сформулировать гипотезу. Для принятия решения также нужно знать о неудачах, альтернативах и условиях внедрения. Ищите полный документ и фрагмент, подтверждающий утверждение, а не только заголовок или новость о нём.
Показатель изменился. Это произошло из-за принятой меры?
Объявление выражает намерение. Запись может подтвердить непосредственный результат работы. Завершение строительства не доказывает автоматически, что проблема решена. Улучшение показателя после принятия меры само по себе не доказывает, что причиной была именно эта мера.
- Исходный уровень
- Это состояние, измеренное до изменения. Укажите определение, охваченную группу населения, период и источник, чтобы впоследствии можно было провести сравнение.
- Сравнение
- Спросите, что, вероятно, произошло бы без вмешательства. Такая ситуация называется контрфактической. Метод должен обосновывать сравнение; выбрать любой другой муниципалитет или группу недостаточно.
- Другие объяснения
- Спрос на услугу, состав её получателей и другие меры могут меняться в тот же период. Оценка должна рассматривать альтернативные объяснения.
Подходящее сравнение зависит от вопроса и доступных данных. Отслеживание целевых показателей помогает заметить изменения, но отнесение эффекта к конкретной мере требует дополнительного исследования. Если установить такую связь невозможно, наблюдаемый результат остаётся полезным при явном указании ограничения.
Кого включили в расчёт, а кто остался за его пределами?
Общее число может скрывать долю охваченных. Доля может скрывать различия между людьми. Прежде чем сравнивать, проверьте три момента:
- Знаменатель
- Это общее число, используемое как основа для расчёта доли. Проверьте, кто мог попасть в расчёт, кто был исключён и как учитывались отмены или отсутствующие записи.
- Одинаковая мера
- Сохраняйте сопоставимость определения, единицы, периода и критериев. Если измерение меняется, зафиксируйте изменение: разница в числе может быть следствием метода.
- Распределение
- Рассмотрите территории, группы и ситуации с наибольшими трудностями. Общее улучшение может сочетаться с ухудшением для части людей.
Гипотетический пример: наблюдайте за двумя группами заявок в течение одинакового срока, с одинаковым определением завершения и без исключений. В конце каждая служба завершила 80 заявок из своей группы. Числа служат только для объяснения доли.
Служба A
Наблюдаемая группа80 завершённых заявок из общего числа 100.
Доля завершённых80 ÷ 100 = 80%.
Служба B
Наблюдаемая группа80 завершённых заявок из общего числа 200.
Доля завершённых80 ÷ 200 = 40%.
Объём выполненного одинаков, доля различается. Это ещё не показывает, какая служба работает лучше: сложность, ресурсы, качество и время ответа также имеют значение. Те, кто продолжает ждать, должны оставаться в поле зрения.
Какая неопределённость ещё может изменить вывод?
- Отсутствующая информация
- Укажите, что искали, в каких источниках и до какой даты. Отсутствие найденного подтверждения выполненной работы само по себе не доказывает бездействие или мошенничество.
- Неточный результат
- Оценка может быть совместима с эффектами разной величины. Неопределённый результат не доказывает ни того, что мера сработала, ни того, что она не имела эффекта.
- Другой контекст
- Прежде чем переносить опыт, сравните целевую группу, институты, возможности, затраты и масштаб. Знание неблагоприятных случаев помогает понять, когда механизм не работает.
Полезный вывод сообщает, что наблюдалось, какая интерпретация подтверждается и что остаётся открытым. Уверенность в выводе должна соответствовать силе доказательств.
Как доказательства помогают скорректировать курс
Оценка также помогает решить, стоит ли сохранять, расширять, корректировать или прекращать вмешательство. Рассмотрите затраты, качество, эффекты для разных групп и нежелательные последствия. Один целевой показатель не определяет все эти решения.
- Разобраться в неудаче
- Разделяйте проблемы измерения, трудности реализации, изменение контекста и недостатки устройства. Каждая причина может требовать своего ответа.
- Сравнить варианты следующего решения
- Сохранение текущего положения тоже имеет последствия. Сравните альтернативы, затраты на изменение и условия сохранения обслуживания.
- Обосновать и зафиксировать
- В предлагаемой модели корректировки или прекращение вмешательства потребовали бы указания ответственных, обоснования, возможности ответа и защиты непрерывности услуг. Институциональные правила ещё изучаются.
Источники направляют анализ и не доказывают осуществимость OpenGov3. Различия, касающиеся записей, ответственности и пересмотра, также раскрыты в разделах 3–6 белой книги 2.0.
Эта тема в модели
В предлагаемой модели оценка проекта требует различать непосредственный результат работы, наблюдаемое изменение и эффект, который можно отнести к вмешательству. Эти вопросы позволяют оспаривать выводы и решать, что следует исправить.