Cómo examinar evidencias
Aprenda a comprobar una fuente, comparar resultados y reconocer lo que los datos todavía no permiten concluir.
Lo que cada fuente permite afirmar
Ley o reglamento
Permite examinarQué regla se estableció, para quién y desde cuándo.
El límiteEl texto de la regla no demuestra que se haya cumplido.
Página de una institución
Permite examinarCómo describe la institución un programa, sus acciones y sus registros.
El límiteLa descripción, por sí sola, no prueba que el programa haya causado los resultados divulgados.
Evaluación de impacto
Permite examinarQué parte de un cambio puede atribuirse a la intervención, según el método utilizado.
El límiteLa conclusión depende de la calidad de los datos, de la comparación y del contexto. No garantiza el mismo efecto en otro país, época o escala.
Simulación
Permite examinarLo que sucedería dentro de los supuestos y las relaciones adoptados.
El límiteEl cálculo no convierte sus supuestos en hechos. Cambiar una hipótesis puede cambiar la conclusión.
Un caso de éxito ayuda a formular una hipótesis. Para decidir, también necesitamos conocer fracasos, alternativas y condiciones de implementación. Busque el documento completo y el pasaje que sostiene la afirmación, no solo su título o una noticia sobre él.
El resultado cambió. ¿Fue a causa de la política?
Un anuncio presenta una intención. Un registro puede demostrar una entrega. Terminar una obra no demuestra automáticamente que haya resuelto el problema. La mejora de un indicador después de una política no demuestra, por sí sola, que la política haya sido la causa.
- Línea de base
- Es la situación medida antes del cambio. Informe la definición, la población, el período y la fuente para poder comparar después.
- Comparación
- Pregunte qué habría ocurrido probablemente sin la intervención. Esa situación se denomina contrafactual. El método debe justificar la comparación; elegir cualquier otro municipio o grupo no basta.
- Otras explicaciones
- La demanda del servicio, la composición del público y otras medidas pueden cambiar en el mismo período. La evaluación debe examinar explicaciones alternativas.
Una comparación adecuada depende de la pregunta y de los datos disponibles. Hacer seguimiento de las metas ayuda a detectar cambios, pero atribuir un efecto a la política exige investigación adicional. Cuando esa atribución no sea posible, el resultado observado sigue siendo útil, con el límite declarado.
¿Quién entró en la cuenta y quién quedó fuera?
Un total puede ocultar la proporción atendida. Una proporción puede ocultar diferencias entre personas. Antes de comparar, examine tres puntos:
- Denominador
- Es el total utilizado como base de una proporción. Verifique quién podía incluirse en la cuenta, quién fue excluido y cómo se trataron las cancelaciones o los registros ausentes.
- La misma medida
- Conserve una definición, unidad, período y criterios comparables. Si cambia la medición, registre la modificación; una diferencia en el número puede provenir del método.
- Distribución
- Examine territorios, grupos y situaciones de mayor dificultad. La mejora del conjunto puede coexistir con un empeoramiento para parte de las personas.
Ejemplo hipotético: haga seguimiento de dos grupos de solicitudes durante el mismo plazo, con la misma definición de conclusión y sin exclusiones. Al final, cada servicio completó 80 solicitudes de su grupo. Los números sirven únicamente para explicar la proporción.
Servicio A
Grupo observado80 solicitudes completadas de un total de 100.
Proporción completada80 ÷ 100 = 80%.
Servicio B
Grupo observado80 solicitudes completadas de un total de 200.
Proporción completada80 ÷ 200 = 40%.
El volumen completado es igual; la proporción es diferente. Eso todavía no informa qué servicio tiene mejor desempeño: también importan la complejidad, los recursos, la calidad y el tiempo de respuesta. Quien sigue esperando debe permanecer visible.
¿Qué incertidumbre todavía puede cambiar la conclusión?
- Información ausente
- Diga qué se buscó, en qué fuentes y hasta qué fecha. No encontrar una entrega no prueba, por sí solo, inactividad o fraude.
- Resultado impreciso
- Una evaluación puede ser compatible con efectos de distinta magnitud. Un resultado no concluyente no demuestra ni que la política haya funcionado ni que no haya tenido efecto.
- Otro contexto
- Antes de trasladar una experiencia, compare el público, las instituciones, la capacidad, los costos y la escala. Conocer casos desfavorables ayuda a identificar cuándo falla el mecanismo.
Una conclusión útil informa qué se observó, qué interpretación está respaldada y qué permanece abierto. La fuerza de la conclusión debe corresponder a la fuerza de la evidencia.
Cómo ayuda la evidencia a corregir el rumbo
Evaluar también sirve para decidir si conviene mantener, ampliar, corregir o interrumpir una intervención. Examine costos, calidad, efectos sobre distintos grupos y consecuencias no deseadas. Una meta aislada no resuelve todas esas decisiones.
- Investigar la falla
- Distinga entre un problema de medición, una dificultad de ejecución, un cambio de contexto y una falla de diseño. Cada causa puede exigir una respuesta diferente.
- Comparar la próxima decisión
- Mantener todo como está también tiene consecuencias. Compare alternativas, costos del cambio y condiciones para sostener la atención.
- Justificar y registrar
- En el modelo propuesto, las correcciones o interrupciones necesitarían responsables, justificación, posibilidad de respuesta y protección de la continuidad de los servicios. Las reglas institucionales siguen en estudio.
Las referencias orientan el análisis y no prueban la viabilidad de OpenGov3. Las distinciones sobre registros, responsabilidades y revisión también se desarrollan en las secciones 3 a 6 del whitepaper 2.0.
Este tema en el modelo
En el modelo propuesto, evaluar un proyecto exige distinguir entre entrega, cambio observado y efecto atribuible a la intervención. Estas preguntas permiten cuestionar conclusiones y decidir qué debe corregirse.