Wirkungsanalyse fördert wirksamen Wandel im öffentlichen Sektor

Der Wert von Wirkungsinitiativen – zweckorientierte Bemühungen zur Schaffung sinnvoller sozialer oder wirtschaftlicher Ergebnisse – wird von Regierungen und gemeinnützigen Organisationen universell anerkannt. Doch wie stellen Organisationen sicher, dass diese Initiativen des öffentlichen Sektors tatsächlich wirksam sind? Die Antwort liegt in einer rigorosen Wirkungsbewertung.

Wirkungsbewertung ist nicht mehr nur ein „Nice-to-have“; sie ist ein kritischer Prozess, der den Zuständigkeitsbereichen hilft, die Auswirkungen von Programmen und Interventionen vorherzusagen und zu antizipieren und Ergebnisse genau zu messen.

Regierungen aller Art haben lange nach Wegen gesucht, neue Arten von Erkenntnissen zu nutzen, die eine datengestützte und fundierte Politikgestaltung unterstützen. Diese Art von anonymisierten und aggregierten Daten der nächsten Generation kann genutzt werden, um die Auswirkungen spezifischer Ereignisse oder Veränderungen im öffentlichen Raum in verschiedenen Industriesegmenten nahezu in Echtzeit zu verfolgen.

Mastercard hat öffentlich-private Partnerschaften mit Regierungen und gemeinnützigen Organisationen geschlossen, um die Auswirkungen ihrer Initiativen und Investitionen durch Tools wie Mastercard Test & Learn® zu messen. Dieser Blog hebt unsere Arbeit an zwei Projekten zur Wirkungsevaluierung hervor: die „Open Streets“-Feiertagsinitiative von New York City und das 911-Anrufumleitungsprogramm von St. Louis.

Wir beleuchten auch den zunehmenden Fokus auf Wirkungsbewertung, deren Begründung und die zu überwindenden Hindernisse.

Wirkungsinitiativen sind zweckorientierte, organisierte, zeitlich begrenzte Bemühungen, die auf ein bestimmtes soziales oder wirtschaftliches Ergebnis abzielen. Regierungsbehörden, gemeinnützige Organisationen oder private Einrichtungen im öffentlichen Sektor können sie durchführen. Da die Ausgaben des öffentlichen Sektors und gemeinnütziger Organisationen genauer geprüft werden, ist die Fähigkeit, die Wirkung klar und quantitativ darzustellen, eine wachsende Priorität.

Datengestützte Wirkungsmessung ist entscheidend bei der Bewertung der Wirksamkeit von staatlichen und NGO-geführten sozialen und wirtschaftlichen Programmen und schafft Rechenschaftspflicht gegenüber Spendern und Steuerzahlern. Während es offensichtlich sein mag, dass Programmverantwortliche wissen wollen, ob ihre Initiativen breit wirksam sind, ist es noch wertvoller, die Haupttreiber der Programmauswirkungen zu verstehen. Das Entschlüsseln des „Wie“ und „Warum“ hinter einem Erfolg oder Misserfolg ist hilfreicher als ein binäres „Ja“ oder „Nein“ und kann Stakeholdern helfen, Programme anzupassen, um optimalere Ergebnisse zu erzielen.

Man nehme zum Beispiel die Weihnachtsinitiative „Open Streets“ in New York City, bei der ausgewählte Straßen für den Fahrzeugverkehr gesperrt wurden, um den Umsatz lokaler Geschäfte an bestimmten Tagen im Dezember zu steigern. Die Wirkungsbewertung zeigte die potenzielle Steigerung der Ausgaben, die sich aus der Initiative ergab, und die Faktoren, die zu zusätzlichen Ausgaben bei Unternehmen aufgrund von Fußgängerverkehr führten. Darüber hinaus bestätigte die Bewertung, dass die verlängerten Fußgängerzonen-Zeiten zu höheren Umsätzen führten.

Die Stadt St. Louis konnte mit ihrem 911-Anrufumleitungsprogramm die Einsatzstunden von Dispatchern und Beamten, die für Verhaltensgesundheitsfälle aufgewendet wurden, reduzieren. Gewaltfreie Anrufe im Bereich psychische Gesundheit und Verhaltensstörungen werden an Krisenberater anstatt an Polizeibeamte weitergeleitet. Die Stadt identifizierte den Wert des Programms effektiv, indem sie eine rigorose Test-vs.-Matched-Control-Methodik einsetzte.

Hier sind vier Möglichkeiten, wie Auswirkungsbewertungen den Wert dieser Initiativtypen zeigen können:

• Beweisbasierte Erkenntnisse: Empirische Belege können zeigen, was funktioniert, was nicht und unter welchen Bedingungen.
• Nachhaltigkeitsbewertung: Die längerfristige Nachhaltigkeit von Initiativen kann ebenfalls gemessen werden, was mehr Vertrauen in langfristige Ergebnisse schafft.
• Verbesserte Rechenschaftspflicht: Rechtfertigen Sie die finanzielle Investition in eine Initiative und helfen Sie bei der zukünftigen Mittelbeschaffung.
• Lernen und Entscheidungsfindung: Lernen auf individueller und organisationaler Ebene wird gefördert und ermöglicht Entscheidungsträgern und Spendern, fundierte Entscheidungen zu treffen.

Die Notwendigkeit einer Wirkungsbewertung ist unkompliziert. Dennoch stehen mehrere Hindernisse einer breiteren Akzeptanz im Wege:

• Finanzierungs- & Ressourcenengpässe: Wirkungsbewertungsstudien können als „nice-to-have“ angesehen werden, was zu Herausforderungen bei der Sicherung von Finanzmitteln für die Datenerfassung und Datenanalysten führt.  
• Datenverfügbarkeit & -qualität: Daten aus der Praxis können oft ungenau, von geringer Qualität und veraltet sein. Regierungen und NGOs haben oft Schwierigkeiten, genaue Daten zu sammeln, die zur Bewertung von Auswirkungen nützlich sein können.  
• Zeitverzögerung zwischen Intervention & Wirkung: Interventionen für öffentliche Auswirkungen können Zeit benötigen, um Vorteile zu erzielen, was zu langen Verzögerungen führt, bevor Evaluierungen durchgeführt und der Nutzen der Initiative bewertet werden kann.
• Festlegung der Ausgangsleistung: Der Wert einer Intervention kann nur bestimmt werden, wenn ein klares Verständnis des Status quo vorliegt, doch die Festlegung echter „Test“- und „Kontroll“-Gruppen ist möglicherweise nicht immer durchführbar.

Aufgrund dieser Herausforderungen tun sich Regierungen und gemeinnützige Organisationen oft schwer damit, die Auswirkungen ihrer Initiativen zu messen, was sie daran hindert, die Auswirkungen genau vorherzusagen und überzeugende Business Cases für essentielle Finanzierungen zu erstellen.

Obwohl New York City das Gefühl hatte, dass die Fußgängerzonen-Initiative in der Weihnachtszeit ein Erfolg war, war die Durchführung einer umfassenden Wirkungsstudie nicht einfach. Die Regierung versuchte, die lokalen Händler zu befragen, doch die gesammelten Daten waren spärlich und voreingenommen. Das einzigartig kommerzielle Viertelumfeld erschwerte die Analyse der Initiative noch zusätzlich.

Ähnlich verhielt es sich, als die Stadt St. Louis versuchte, die Wirksamkeit ihres Programms zur Umleitung von Anrufen für psychische und Verhaltensgesundheit zu testen. Die Betreiber konnten keine zuverlässige Methodik entwickeln, um die Wirksamkeit zu beurteilen. Stattdessen mussten sich die Beamten hauptsächlich auf anekdotisches Feedback verlassen, dem es an der nötigen Strenge fehlte, um gewählte Amtsträger von einer Verlängerung der Finanzierung zu überzeugen.

Wirkungsanalysen können mit einem strukturierten Ansatz, der Zielsetzung, Intelligenz, Optimierung und Design sowie die Zustimmung wichtiger Stakeholder und Entscheidungsträger umfasst, einfacher gestaltet werden. Der Aufbau von Prozessen und Partnerschaften kann jedem Kunden aus dem öffentlichen Sektor oder gemeinnützigen Organisationen helfen, ein hochentwickelter Wirkungsanalyst zu werden.

Der erste Schritt in jedem wirksamen Programm zur Wirkungsbewertung besteht darin, die primären Ziele der Organisation zu identifizieren. Der Input von Programmeignern, Sponsoren und Geldgebern kann ein Bewertungsdesign ermöglichen, das die relevantesten Schwerpunktbereiche priorisiert. Die Beantwortung einiger wichtiger Fragen kann helfen, organisatorische Ziele zu definieren:

• Was sind die Ziele des Programms?  
• Was ist der erwartete Zeitrahmen für diese Ziele?
• Sind weitere gleichzeitige Initiativen geplant?

Der nächste Schritt ist die Identifizierung von Erfolgsindikatoren. Dies können kurzfristige Metriken sein, wie Echtzeitdaten, die eine sofortige Quantifizierung der Auswirkungen ermöglichen würden, oder langfristige Indikatoren, die einen Einblick in systemische Veränderungen über einen längeren Zeitraum geben können. Diese langfristigen Indikatoren können Wohnquoten, den Erfolg von Beschäftigungsprogrammen und Indikatoren für die wirtschaftliche Entwicklung umfassen.

Die Einbindung der Stakeholder bei der Festlegung von Zielen und Leistungskennzahlen kann je nach Größe und Struktur der Organisation variieren. In kleinen Organisationen können Stakeholder mit Zeichnungsberechtigung, wie zum Beispiel Geschäftsführer, das Engagement der Organisation für die Evaluierung vorantreiben. In größeren Organisationen sollten Datenerfassungsteams jedoch mit internen Teams zusammenarbeiten, um genaue und unvoreingenommene Daten zu sammeln. Manche Organisationen verfügen sogar über spezielle Lern- und Wirkungsteams, die für die Konzeption, Durchführung und Interpretation von Bewertungsinitiativen zuständig sind.

Eine Bewertung der dem Unternehmen intern und über externe Quellen zur Verfügung stehenden Daten muss durchgeführt werden, um etwaige Lücken im Datensatz zu ermitteln. In der Intelligence -Phase könnten die Insights-Datenbank und Standortdaten von Mastercard die Daten des Initiators für eine umfassendere Bewertung ergänzen. Einige dieser einzigartigen Datensätze umfassen den Inclusive Growth Score™, der lokalen Planern, Regierungen und Impact-Investoren eine klare, einfache Übersicht über soziale und wirtschaftliche Indikatoren auf Nachbarschaftsebene bietet.

Als Teil der *Optimierung* werden die Initiativverantwortlichen dann die in der Intelligenzphase identifizierten Daten nutzen, um kurz- und langfristige Wirkungsanalysen mittels Datenanalyse durchzuführen. Abhängig von den Forschungszielen kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercards Test & Learn® oder durch standortbezogene Erkenntnisse erfolgen, die öffentlich verfügbare, geografisch segmentierte Metriken mit Ausgabenanalysen verbinden.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Design -Phase können Wirkungsinitiativen weiter zugeschnitten und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisatorischen Wirkungsziele erfüllen.

Durch dieses mehrstufige Rahmenwerk arbeitet Mastercard weiterhin mit Organisationen in seinen Gemeinden zusammen, um ihnen bei der erfolgreichen Bewertung ihrer Auswirkungen zu helfen. Diese Partnerschaften haben gemeinnützigen Organisationen und Regierungsorganisationen dabei geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Impact-Initiativen zu gestalten.

Als Teil der *Optimierung* werden die Initiativverantwortlichen dann die in der Intelligenzphase identifizierten Daten nutzen, um kurz- und langfristige Wirkungsanalysen mittels Datenanalyse durchzuführen. Abhängig von den Forschungszielen kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercards Test & Learn® oder durch standortbezogene Erkenntnisse erfolgen, die öffentlich verfügbare, geografisch segmentierte Metriken mit Ausgabenanalysen verbinden.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Design -Phase können Wirkungsinitiativen weiter zugeschnitten und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisatorischen Wirkungsziele erfüllen.

Durch dieses mehrstufige Rahmenwerk arbeitet Mastercard weiterhin mit Organisationen in seinen Gemeinden zusammen, um ihnen bei der erfolgreichen Bewertung ihrer Auswirkungen zu helfen. Diese Partnerschaften haben gemeinnützigen Organisationen und Regierungsorganisationen dabei geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Impact-Initiativen zu gestalten.