Paso 9: Monitoreo y evaluación

Este capítulo de la guía de Eduentretenimiento para el cambio social El poder de las historias para transformar, se centra en el monitoreo y la evaluación. Conocer el resultado real y comprobable de la estrategia (evaluación) y hacerle seguimiento a las actividades (monitoreo) es muy importante y requiere una metodología diseñada antes de comenzar con la implementación. Téngalo en cuenta en términos de planeación y presupuesto.

Monitoreo: el monitoreo o seguimiento periódico de las actividades, sirve para saber si estas se llevan a cabo de acuerdo a lo planeado, identificar las dificultades o deficiencias que se presentan y corregirlas en el camino. Se inicia con la implementación de la estrategia y se enfoca en cómo, cuándo y dónde tienen lugar las actividades planeadas, quiénes las ejecutan y quiénes se benefician de ellas.

Evaluación: la evaluación consiste en valorar de manera sistemática, los alcances de la estrategia, es decir, los objetivos contra los logros, pero también valorar los procesos, factores contextuales, resultados, impactos o ausencia de ellos.

Hay muchas razones de peso para evaluar su estrategia de Eduentretenimiento:

• Conocer el impacto del proyecto en sus públicos interlocutores.

• Identificar las fortalezas y debilidades de la estrategia.

• Visibilizar la efectividad de la intervención.

• Tener argumentos para que posibles socios evalúen el potencial del proyecto.
• Rendir cuentas a los públicos interlocutores e inversionistas que financiaron la estrategia.

Un típico plan de M&E debe incluir:

• El modelo teórico (qué modelo se va a usar o cuáles teorías guiarán la estrategia).
• Los aspectos a evaluar u objetivos (¿Qué pretende lograr este proyecto? ¿Qué cambios se busca alcanzar en la población participante? ¿En qué tiempos? ¿A través de qué tipo de actividades?).
• Los métodos para hacerlo (estudios cuantitativos o estudios cualitativos) y las respectivas técnicas a utilizar (encuestas, grupos foca- les, entrevistas, etc.).
• La manera de reportar y cómo se usarán los resultados.

A continuación, el capítulo recoge el proceso de construcción de la metodología de monitoreo y evaluación de las estrategias Romper el Silencio (caso Colombia) y Beyond the River (caso Suráfrica).

CASO COLOMBIA

Se buscó el apoyo de Singizi Consulting Africa, para elaborar el plan de monitoreo y evaluación de Romper el Silencio, por su amplia experiencia en estrategias de Eduentretenimiento y Comunicación para el Cambio Social.

Se tuvieron en cuenta los valiosos aprendizajes de las organizaciones aliadas, en este caso, BBC Media Action, que generosamente compartió la manera como fueron evaluados dos de sus proyectos en Birmania: la estrategia radial sobre diversidad religiosa The Tea Cup Diaries y la estrategia televisiva sobre conflicto y paz Khan Say Kyi (Siéntelo).

Con el acompañamiento de Singizi, se llevó a cabo un taller de Monitoreo & Evaluación. El objetivo de este taller fue la construcción de la teoría de cambio, con base en los hallazgos de la investigación formativa: 

• La definición de los cambios que se espera lograr con la estrategia Romper el Silencio.
• La definición de las actividades que se deben llevar a cabo para lograr estos cambios.
• El establecimiento de los indicadores de éxito.
• La definición de las metodologías de recolección de datos.

El proceso de monitoreo y evaluación no ha sido llevado a cabo porque la estrategia Romper el Silencio aun no se ha implementado.

CASO SURÁFRICA

El monitoreo comenzó con la elaboración de un plan e incluyó reuniones periódicas sobre el desarrollo del proyecto, reuniones con socios y la elaboración de informes mensuales para garantizar que la ejecución avanzara con éxito. Adicionalmente, se hizo un seguimiento exhaustivo de los gastos para garantizar ajuste al presupuesto.

La medición de impacto de la campaña #WhatsYourStory?, implementada en empresas e iglesias entre julio de 2017 y marzo de 2020, fue encargada a Singizi Consulting Africa. La evaluación incluyó el desarrollo de dos teorías de cambio y un marco de monitoreo y evaluación.

Singizi utilizó métodos mixtos para la recolección de datos, entre ellos, una línea de base previa (evaluación formativa) y una evaluación sumativa que recogió data sobre la percepción de la campaña, las acciones que se llevaron a cabo a partir de la exposición a la campaña y las percepciones del cambio generado por la campaña. Adicionalmente, se hicieron entrevistas en profundidad y ocho estudios de caso.

Las preguntas clave de la evaluación fueron:

1. ¿Puede una campaña que anima a las personas a contarle su historia personal a otros en ambientes seguros, aumentar la empatía entre las y los involucrados?
2. ¿Fomentar la empatía mejora la cohesión y el funcionamiento de un grupo? 


La evaluación formativa demostró que después de haber estado expuestos a la campaña, el 42% de los encuestados había participado en diálogos con otros. En comparación, en la evaluación sumativa, un 80% de los encuestados reportó haberse involucrado en narración de historias con otras personas.

Algunos hallazgos

• El enfoque de #WhatsYourStory? es simple y accesible para personas de distintas razas, géneros y edades, haciéndolo más fácil de replicar.
• La lógica de la campaña hace fácil y probable que los participantes la implementen más de una vez y la transmitan en cascada a otr as personas.
• Hay una relación directa entre el número de veces que los encuestados participan en una actividad de #WhatsYourStory? y el aumento de los niveles de empatía.
• En iglesias, la campaña logra un cambio positivo a nivel individual, dentro de la misma iglesia, entre iglesias y entre iglesias y la comunidad circundante.
• Los cambios positivos incluyen: mayor confianza, mayor curiosidad por los otros, más confianza y mejores relaciones.
• En sitios de trabajo, los cambios positivos incluyen: mejor comunicación y más confianza, lo que redunda en fortalecimiento del trabajo en equipo, construcción de nuevas formas de relacionamiento y apoyo a una cultura de confianza y comunicación respetuosa. 


El capítulo finaliza con las lecciones aprendidas por las dos estrategias durante esta etapa.

• El monitoreo se enfoca en cómo, cuándo y dónde tienen lugar las actividades planteadas, así como en quiénes las ejecutan y quiénes se benefician de ellas. La evaluación se enfoca en los logros alcanzados.
• Existen diversos diseños metodológicos posibles dependiendo del tipo de monitoreo y evaluación que se quiera realizar y los objetivos planteados. Definan con claridad su norte desde la etapa de diseño.
• El monitoreo y la evaluación requieren de un diseño metodológico que incluya al menos, la teoría de cambio, los objetivos de la evaluación, los métodos e instrumentos, los públicos a quienes se les consultará y la manera como se reportarán los resultados.
• El monitoreo y la evaluación pueden tener múltiples propósitos: garantizar la orientación adecuada del proceso, recabar evidencia para hacer ajustes en el camino, constatar los logros y alcances, aprender de lo hecho, tener evidencia para gestionar nuevos fondos, entre otros.
• Es muy importante hacer un plan de integración de los resultados de la evaluación que incluya: 1) devolución a los públicos interlocutores, 2) devolución a los aliados, 3) publicaciones en revistas académicas para la validación de los resultados por la academia, 4) retroalimentación al interior del equipo para futuros proyectos.