La evaluación de impacto impulsa un cambio efectivo en el sector público

El valor de las iniciativas de impacto (esfuerzos impulsados por un propósito diseñados para crear resultados sociales o económicos significativos) es reconocido universalmente por gobiernos y organizaciones sin fines de lucro. ¿Pero cómo se aseguran las organizaciones de que estas iniciativas del sector público sean genuinamente efectivas? La respuesta reside en una evaluación de impacto rigurosa.

La evaluación de impacto ya no es solo algo deseable; es un proceso crítico que ayuda a las jurisdicciones a pronosticar y anticipar el impacto de los programas e intervenciones, y a medir los resultados con precisión.

Los gobiernos de todo tipo han estado explorando durante mucho tiempo formas de aprovechar nuevos tipos de información que respalden la toma de decisiones políticas informadas y basadas en datos. Este tipo de datos anonimizados y agregados de próxima generación puede aprovecharse para rastrear el impacto de eventos específicos o cambios en el ámbito público en diferentes segmentos de la industria en casi tiempo real.

Mastercard ha formado asociaciones público-privadas con gobiernos y organizaciones sin fines de lucro para medir el impacto de sus iniciativas e inversiones a través de herramientas como Mastercard Test & Learn®. Este blog destaca nuestro trabajo en dos proyectos de evaluación de impacto: la iniciativa festiva Open Streets de la ciudad de Nueva York y el programa de desvío de llamadas al 911 de St. Louis.

También profundizamos en el creciente enfoque en la evaluación de impacto, su justificación y los obstáculos a superar.

Las iniciativas de impacto son esfuerzos organizados, con un propósito claro y con plazos determinados, dirigidos a un resultado social o económico específico. Las agencias gubernamentales, las organizaciones sin fines de lucro o las entidades privadas del sector público pueden llevarlas a cabo. A medida que el gasto público y de organizaciones sin fines de lucro está bajo mayor escrutinio, la capacidad de mostrar el impacto de manera clara y cuantitativa es una prioridad creciente.

La medición del impacto basada en datos es fundamental para evaluar la efectividad de los programas sociales y económicos dirigidos por gobiernos y ONG, y proporciona rendición de cuentas a los donantes y contribuyentes. Si bien puede ser obvio que los propietarios de programas deseen saber si sus iniciativas son efectivas en términos generales, es aún más valioso comprender los principales impulsores del impacto del programa. Desentrañar el "cómo" y el "por qué" detrás de un éxito o fracaso es más útil que un "sí" o "no" binario y puede ayudar a las partes interesadas a ajustar los programas para ofrecer resultados más óptimos.

Tomemos, por ejemplo, la iniciativa navideña Open Streets de Nueva York, en la que se cerraron ciertas calles al tráfico vehicular para impulsar las ventas en los negocios locales durante determinados días de diciembre. La evaluación de impacto reveló el aumento potencial en el gasto resultante de la iniciativa y los factores detrás del gasto incremental para las empresas proveniente del tráfico peatonal. Además, la evaluación confirmó que la ampliación del horario de peatonalización generó mayores ventas.

La ciudad de St. Louis pudo reducir las horas de los despachadores y agentes dedicadas a casos de salud conductual con su programa de desvío de llamadas al 911. Las llamadas sobre salud mental y conductual no violentas se dirigen a consejeros de crisis en lugar de a agentes de policía. La ciudad identificó eficazmente el valor del programa aprovechando una metodología rigurosa de prueba frente a control emparejado.

Aquí hay cuatro formas en que las evaluaciones de impacto pueden mostrar el valor de este tipo de iniciativas:

• Perspectivas basadas en evidencia: La evidencia empírica puede mostrar qué funciona, qué no y bajo qué condiciones.
• Evaluación de sostenibilidad: La sostenibilidad a largo plazo de las iniciativas también puede medirse, lo que proporciona mayor confianza en los resultados a largo plazo.
• Responsabilidad mejorada: Justifica la inversión financiera en una iniciativa y ayuda con la futura recaudación de fondos.
• Aprendizaje y toma de decisiones: se fomenta el aprendizaje a nivel individual y organizacional, lo que permite a los tomadores de decisiones y a los donantes tomar decisiones informadas.

La necesidad de una evaluación de impacto es sencilla. Aun así, varios obstáculos se interponen en el camino de una adopción más amplia:

• Limitaciones de financiamiento y recursos: los estudios de evaluación de impacto pueden verse como algo «deseable», lo que genera desafíos para asegurar el financiamiento para la recopilación de datos y los analistas de datos.  
• Disponibilidad y calidad de los datos: Los datos del mundo real a menudo pueden ser ruidosos, de baja calidad y estar desactualizados. Los gobiernos y las ONG a menudo enfrentan dificultades para recopilar datos precisos que puedan ser útiles para evaluar el impacto.  
• Retraso entre la intervención y el impacto: las intervenciones para el impacto público pueden tardar en generar beneficios, lo que resulta en largas demoras antes de que se puedan realizar evaluaciones y evaluar el beneficio de la iniciativa.
• Establecimiento del rendimiento base: El valor de una intervención solo puede determinarse si existe una comprensión clara del status quo, pero establecer grupos de “prueba” y “control” reales no siempre es factible.

Debido a estos desafíos, los gobiernos y las organizaciones sin fines de lucro a menudo tienen dificultades para medir el impacto de sus iniciativas, lo que les impide pronosticar el impacto con precisión y crear casos de negocio convincentes para obtener la financiación esencial.

Aunque la ciudad de Nueva York tenía la sensación de que su esfuerzo de peatonalización durante la temporada navideña fue un éxito, realizar un estudio integral de evaluación de impacto no fue fácil. El gobierno intentó encuestar a los comercios locales, pero los datos recopilados eran escasos y sesgados. El entorno del vecindario, exclusivamente comercial, hizo aún más difícil analizar la iniciativa.

De manera similar, cuando la ciudad de St. Louis intentó probar la eficacia de su programa de derivación de llamadas de salud mental y conductual, los operadores no pudieron construir una metodología confiable para medir la eficacia. En cambio, los funcionarios tuvieron que depender principalmente de comentarios anecdóticos, los cuales carecían del rigor necesario para convencer a los funcionarios electos de renovar la financiación.

Las evaluaciones de impacto pueden ser más sencillas con un enfoque estructurado que abarque el establecimiento de objetivos, la inteligencia, la optimización y el diseño, así como el respaldo de las partes interesadas y los responsables de la toma de decisiones en todo momento. La creación de procesos y asociaciones puede ayudar a cualquier cliente del sector público o sin fines de lucro a Become en un evaluador de impacto sofisticado.

El primer paso en cualquier programa eficaz de evaluación de impacto es identificar los objetivos principales de la organización. Los aportes de los propietarios, patrocinadores y financiadores del programa pueden permitir un diseño de evaluación que priorice las áreas de enfoque más relevantes. Responder algunas preguntas clave puede ayudar a definir los objetivos organizacionales:

• ¿Cuáles son los objetivos del programa?  
• ¿Cuál es el plazo esperado para estas metas?
• ¿Hay otras iniciativas concurrentes planificadas?

El siguiente paso es identificar los indicadores de éxito. Estas pueden ser métricas a corto plazo, como datos en tiempo real que permitirían la cuantificación inmediata del impacto, o indicadores a largo plazo que pueden proporcionar una visión del cambio sistémico durante un período de tiempo prolongado. Estos indicadores a largo plazo pueden incluir tasas de vivienda, éxito de programas laborales e indicadores de desarrollo económico.

La participación de las partes interesadas en el establecimiento de objetivos y métricas de rendimiento puede diferir según el tamaño y la estructura de la organización. En organizaciones pequeñas, las partes interesadas con autoridad de firma, como los directores ejecutivos, pueden defender el compromiso de la organización con la evaluación. Sin embargo, en organizaciones más grandes, los equipos de recopilación de datos deben asociarse con equipos internos para recopilar datos precisos e imparciales. Algunas organizaciones pueden incluso tener equipos dedicados de aprendizaje e impacto responsables de diseñar, ejecutar e interpretar las iniciativas de evaluación.

Se debe realizar una evaluación de los datos disponibles para la organización, tanto internamente como a través de fuentes externas, para evaluar cualquier brecha en el conjunto de datos. A través de la fase de Inteligencia , la base de datos de perspectivas y los activos de ubicación de Mastercard podrían complementar los datos del propietario de la iniciativa para una evaluación más integral. Algunos de estos conjuntos de datos únicos incluyen el Inclusive Growth Score™, que proporciona a los planificadores locales, gobiernos e inversores de impacto una visión clara y sencilla de los indicadores sociales y económicos a nivel de vecindario.

Como parte de la optimización, los responsables de la iniciativa utilizarán los datos identificados en la fase de inteligencia para realizar evaluaciones de impacto a corto y largo plazo mediante análisis de datos. Dependiendo de los objetivos de investigación, esto puede tomar la forma de pruebas y optimización a través de plataformas como Test & Learn® de Mastercard o a través de información basada en la ubicación que combina métricas disponibles públicamente segmentadas geográficamente con información de gastos.

Los resultados del análisis deben guiar entonces la estrategia futura del gobierno o de la organización sin fines de lucro. A través de la fase de diseño , las iniciativas de impacto pueden adaptarse y priorizarse mejor para su financiamiento, a fin de garantizar que sirvan a sus comunidades y cumplan con los objetivos de impacto organizacional.

A través de este marco de trabajo de varios pasos, Mastercard continúa asociándose con organizaciones en sus comunidades para ayudarlas a evaluar con éxito su impacto. Estas asociaciones han ayudado a organizaciones sin fines de lucro y gubernamentales a generar resultados impactantes de manera efectiva y a diseñar futuras iniciativas de impacto.

Como parte de la optimización, los responsables de la iniciativa utilizarán los datos identificados en la fase de inteligencia para realizar evaluaciones de impacto a corto y largo plazo mediante análisis de datos. Dependiendo de los objetivos de investigación, esto puede tomar la forma de pruebas y optimización a través de plataformas como Test & Learn® de Mastercard o a través de información basada en la ubicación que combina métricas disponibles públicamente segmentadas geográficamente con información de gastos.

Los resultados del análisis deben guiar entonces la estrategia futura del gobierno o de la organización sin fines de lucro. A través de la fase de diseño , las iniciativas de impacto pueden adaptarse y priorizarse mejor para su financiamiento, a fin de garantizar que sirvan a sus comunidades y cumplan con los objetivos de impacto organizacional.

A través de este marco de trabajo de varios pasos, Mastercard continúa asociándose con organizaciones en sus comunidades para ayudarlas a evaluar con éxito su impacto. Estas asociaciones han ayudado a organizaciones sin fines de lucro y gubernamentales a generar resultados impactantes de manera efectiva y a diseñar futuras iniciativas de impacto.