Die Wirkungsbewertung fördert effektive Veränderungen im öffentlichen Sektor

Der Wert von Impact-Initiativen – zielgerichteten Bemühungen, die darauf abzielen, sinnvolle soziale oder wirtschaftliche Ergebnisse zu erzielen – wird von Regierungen und gemeinnützigen Organisationen allgemein anerkannt. Doch wie können Organisationen sicherstellen, dass diese Initiativen des öffentlichen Sektors tatsächlich wirksam sind? Die Antwort liegt in einer sorgfältigen Wirkungsanalyse.

Wirkungsbewertung ist nicht mehr nur ein angenehmes Angebot; Es ist ein entscheidender Prozess, der Zuständigkeitsbereichen hilft, die Auswirkungen von Programmen und Interventionen vorherzusagen und die Ergebnisse genau zu messen.

Regierungen aller Art erforschen seit langem Wege, neue Arten von Erkenntnissen zu nutzen, die datenbasierte und fundierte politische Entscheidungen unterstützen. Solche anonymisierten und aggregierten Daten der nächsten Generation können genutzt werden, um die Auswirkungen bestimmter Ereignisse oder Veränderungen im öffentlichen Bereich in verschiedenen Branchensegmenten nahezu in Echtzeit zu verfolgen.

Mastercard hat öffentlich-private Partnerschaften mit Regierungen und gemeinnützigen Organisationen geschlossen, um die Auswirkungen ihrer Initiativen und Investitionen mithilfe von Instrumenten wie Mastercards Test & Learn ® zu messen. Dieser Blog hebt unsere Arbeit an zwei Wirkungsbewertungsprojekten hervor: der Open Streets Feiertagsinitiative in New York City und dem 911 Call Diversion-Programm in St. Louis.

Wir beleuchten auch den wachsenden Fokus auf die Wirkungsbewertung, deren Begründung und die zu überwindenden Hindernisse.

Impact-Initiativen sind zweckorientierte, organisierte, zeitlich gebundene Initiativen, die auf ein bestimmtes soziales oder wirtschaftliches Ergebnis abzielen. Regierungsbehörden, gemeinnützige Organisationen oder private Einrichtungen im öffentlichen Sektor können diese durchführen. Da öffentliche und gemeinnützige Ausgaben zunehmend unter die Lupe genommen werden, wird die Fähigkeit, Wirkung klar und quantitativ darzustellen, eine wachsende Priorität.

Datenbasierte Wirkungsmessung ist entscheidend für die Bewertung der Wirksamkeit von von Regierung und NGOs geführten sozialen und wirtschaftlichen Programmen und bietet Verantwortlichkeit gegenüber Spendern und Steuerzahlern. Auch wenn es offensichtlich sein mag, dass Programminhaber wissen möchten, ob ihre Initiativen im Grossen und Ganzen wirksam sind, ist es umso wertvoller, die Haupttreiber der Wirkung des Programms zu verstehen. Das Aufschlüsseln des 'Wie' und 'Warum' hinter einem Erfolg oder Misserfolg ist hilfreicher als ein binäres 'Ja' oder 'Nein' und kann Stakeholdern helfen, Programme anzupassen, um optimalere Ergebnisse zu erzielen.

Nehmen wir zum Beispiel die Open Streets-Feiertagsinitiative in New York, bei der ausgewählte Strassen für Fahrzeugverkehr gesperrt wurden, um den Verkauf lokaler Geschäfte an bestimmten Dezembertagen zu steigern. Die Wirkungsanalyse zeigte den potenziellen Anstieg der Ausgaben, die durch die Initiative entstehen, sowie die Ursachen für die steigende Ausgaben für Unternehmen durch den Fussgängerverkehr. Darüber hinaus bestätigte die Bewertung, dass die verlängerten Fussgängeröffnungszeiten zu höheren Verkäufen führten.

Die Stadt St. Louis konnte mit ihrem 911-Anruf-Umleitungsprogramm die Stunden von Disponenten und Beamten für Verhaltenskrankheiten reduzieren. Gewaltfreie Anrufe im Bereich psychische und verhaltensbezogene Gesundheit werden an Krisenberater und nicht an Polizisten weitergeleitet. Die Stadt erkannte den Wert des Programms effektiv, indem sie eine strenge Test- und eine Matched-Control-Methodik nutzte.

Hier sind vier Möglichkeiten, wie Wirkungsevaluationen den Wert dieser Initiativen aufzeigen können:

• Beweisliche Einblicke: Empirische Belege können zeigen, was funktioniert, was nicht und unter welchen Bedingungen.
• Nachhaltigkeitsbewertung: Auch die langfristige Nachhaltigkeit von Initiativen kann gemessen werden, was mehr Vertrauen in langfristige Ergebnisse schafft.
• Verbesserte Verantwortlichkeit: Rechtfertigen Sie die finanzielle Investition in eine Initiative und helfen Sie bei der zukünftigen Finanzierung.
• Lernen und Entscheidungsfindung: Individuelles und organisatorisches Lernen wird gefördert und ermöglicht Entscheidungsträgern und Spendern, fundierte Entscheidungen zu treffen.

Die Notwendigkeit einer Wirkungsbewertung ist eindeutig. Dennoch stehen mehrere Hindernisse einer breiteren Verbreitung im Weg:

• Finanzierungs- und Ressourcenbeschränkungen: Wirkungsevaluationsstudien können als 'Nice to-have' angesehen werden, was zu Schwierigkeiten bei der Finanzierung von Datenerhebungen und Datenanalysten führt.  
• Datenverfügbarkeit und -qualität: Echte Daten können oft verrauscht, von geringer Qualität und veraltet sein. Regierungen und NGOs haben oft Schwierigkeiten, genaue Daten zu sammeln, die bei der Bewertung der Wirkung nützlich sein können.  
• Zeitverzögerung zwischen Intervention und Auswirkung: Interventionen zur öffentlichen Wirkung können Zeit brauchen, um Vorteile zu bringen, was zu langen Verzögerungen führt, bevor Bewertungen durchgeführt und der Nutzen der Initiative bewertet werden kann.
• Etablierung der Ausgangsleistung: Der Wert einer Intervention kann nur bestimmt werden, wenn ein klares Verständnis des Status quo besteht, aber die Etablierung echter "Test"- und "Kontroll"-Gruppen ist nicht immer machbar.

Aufgrund dieser Herausforderungen haben Regierungen und gemeinnützige Organisationen oft Schwierigkeiten, die Auswirkungen ihrer Initiativen zu messen, was sie daran hindert, die Wirkung genau vorherzusagen und überzeugende Geschäftsargumente für wesentliche Finanzierung zu erstellen.

Obwohl New York City das Gefühl hatte, dass seine Fussgängermachung in der Weihnachtssaison ein Erfolg war, war die Durchführung einer umfassenden Wirkungsbewertung nicht einfach. Die Regierung versuchte, die örtlichen Händler zu befragen, doch die gesammelten Daten waren spärlich und verzerrt. Das einzigartig kommerzielle Viertel machte es noch schwieriger, die Initiative zu analysieren.

Ähnlich konnten die Betreiber, als die Stadt St. Louis versuchte, die Wirksamkeit ihres Programms zur Umleitung von Anrufen im Bereich psychischer und verhaltensbezogener Gesundheit zu testen, keine verlässliche Methodik zur Einschätzung der Wirksamkeit entwickeln. Stattdessen mussten sich die Beamten hauptsächlich auf anekdotische Rückmeldungen verlassen, die nicht die nötige Strenge enthielten, um gewählte Vertreter von einer Verlängerung der Finanzierung zu überzeugen.

Wirkungsanalysen können mit einem strukturierten Ansatz einfacher gestaltet werden, der Zielsetzung, Intelligenz, Optimierung und Design sowie die Zustimmung wichtiger Stakeholder und Entscheidungsträger umfasst. Der Aufbau von Prozessen und Partnerschaften kann jedem Kunden im öffentlichen Sektor oder im gemeinnützigen Sektor helfen, zu einem versierten Wirkungsbeurteiler zu werden.

Der erste Schritt in jedem effektiven Wirkungsbewertungsprogramm besteht darin, die Hauptziele der Organisation zu identifizieren. Beiträge von Programminhabern, Sponsoren und Geldgebern ermöglichen ein Bewertungsdesign, das die relevantesten Schwerpunktbereiche priorisiert. Die Beantwortung einiger zentraler Fragen kann helfen, die Ziele der Organisation zu definieren:

• Was sind die Ziele des Programms?  
• Wie hoch ist der erwartete Zeitrahmen für diese Ziele?
• Sind weitere parallele Initiativen geplant?

Der nächste Schritt ist es, Erfolgsindikatoren zu identifizieren. Diese können kurzfristige Kennzahlen sein, wie Echtzeitdaten, die eine sofortige Quantifizierung der Auswirkungen ermöglichen, oder langfristige Indikatoren, die einen Einblick in systemische Veränderungen über einen längeren Zeitraum bieten. Diese langfristigen Indikatoren können Wohnquoten, Jobprogrammerfolge und Wirtschaftsentwicklungsindikatoren umfassen.

Die Beteiligung der Stakeholder an der Festlegung von Zielen und Leistungskennzahlen kann je nach Grösse und Struktur der Organisation variieren. In kleinen Organisationen können Interessengruppen mit unterzeichnender Autorität, wie Geschäftsführer, das Engagement der Organisation für die Bewertung fördern. In grösseren Organisationen sollten Datenerfassungsteams jedoch mit internen Teams zusammenarbeiten, um genaue und unvoreingenommene Daten zu sammeln. Einige Organisationen verfügen sogar über eigene Lern- und Wirkungsteams, die für die Planung, Durchführung und Interpretation von Evaluationsinitiativen verantwortlich sind.

Eine Bewertung der der Organisation verfügbaren Daten, sowohl intern als auch über externe Quellen, muss durchgeführt werden, um etwaige Lücken im Datensatz zu bewerten. In der Phase der Informationsgewinnung können die Erkenntnisdatenbank und die Standortressourcen von Mastercard die Daten des Initiatores ergänzen und so eine umfassendere Bewertung ermöglichen. Zu diesen einzigartigen Datensätzen gehört unter anderem der Inclusive Growth Score™ , der lokalen Planern, Regierungen und Impact-Investoren einen klaren und einfachen Überblick über soziale und wirtschaftliche Indikatoren auf Nachbarschaftsebene bietet.

Im Rahmen der Optimierung nutzen die Initiativinhaber die in der Intelligenzphase identifizierten Daten, um kurz- und langfristige Wirkungsanalysen mittels Datenanalyse durchzuführen. Je nach Forschungsziel kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercards Test & Learn ® oder in Form von standortbezogenen Erkenntnissen erfolgen, die öffentlich verfügbare, geografisch segmentierte Kennzahlen mit Ausgabeninformationen verknüpfen.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Designphase können Impact-Initiativen weiter angepasst und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisatorischen Impact-Ziele erreichen.

Durch dieses mehrstufige Rahmenkonzept arbeitet Mastercard weiterhin mit Organisationen in seinen Gemeinschaften zusammen, um sie bei der erfolgreichen Bewertung ihrer Wirkung zu unterstützen. Diese Partnerschaften haben gemeinnützigen Organisationen und staatlichen Organisationen geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Initiativen zu gestalten.

Im Rahmen der Optimierung nutzen die Initiativinhaber die in der Intelligenzphase identifizierten Daten, um kurz- und langfristige Wirkungsanalysen mittels Datenanalyse durchzuführen. Je nach Forschungsziel kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercards Test & Learn ® oder in Form von standortbezogenen Erkenntnissen erfolgen, die öffentlich verfügbare, geografisch segmentierte Kennzahlen mit Ausgabeninformationen verknüpfen.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Designphase können Impact-Initiativen weiter angepasst und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisatorischen Impact-Ziele erreichen.

Durch dieses mehrstufige Rahmenkonzept arbeitet Mastercard weiterhin mit Organisationen in seinen Gemeinschaften zusammen, um sie bei der erfolgreichen Bewertung ihrer Wirkung zu unterstützen. Diese Partnerschaften haben gemeinnützigen Organisationen und staatlichen Organisationen geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Initiativen zu gestalten.