Die Wirkungsbewertung fördert effektive Veränderungen im öffentlichen Sektor.

Der Wert von Wirkungsinitiativen – zweckorientierte Bemühungen, die darauf abzielen, bedeutsame soziale oder wirtschaftliche Ergebnisse zu erzielen – wird von Regierungen und Non-Profit-Organisationen universell anerkannt. Aber wie stellen Organisationen sicher, dass diese Initiativen des öffentlichen Sektors wirklich effektiv sind? Die Antwort liegt in einer rigorosen Wirkungsbewertung.

Die Folgenabschätzung ist nicht mehr nur ein „Nice-to-have“; sie ist ein kritischer Prozess, der Gebietskörperschaften hilft, die Auswirkungen von Programmen und Interventionen vorherzusagen und zu antizipieren sowie Ergebnisse genau zu messen.

Regierungen aller Art haben seit Langem Wege erforscht, neue Arten von Erkenntnissen zu nutzen, die eine datengestützte und informierte Politikgestaltung unterstützen. Diese Art von anonymisierten und aggregierten Daten der nächsten Generation kann genutzt werden, um die Auswirkungen spezifischer Ereignisse oder Veränderungen im öffentlichen Bereich in verschiedenen Industriesegmenten nahezu in Echtzeit zu verfolgen.

Mastercard hat öffentlich-private Partnerschaften mit Regierungen und gemeinnützigen Organisationen geschlossen, um die Auswirkungen ihrer Initiativen und Investitionen durch Tools wie Mastercard’s Test & Learn® zu messen. Dieser Blog beleuchtet unsere Arbeit an zwei Projekte zur Wirkungsanalyse: New York Citys Open Streets Holiday Initiative und St. Louis' 911 Call Diversion Program.

Wir gehen auch auf den wachsenden Schwerpunkt der Wirkungsbewertung, deren Beweggründe und die zu überwindenden Hindernisse ein.

Wirkungsinitiativen sind zweckorientierte, organisierte, zeitlich begrenzte Bemühungen, die auf ein bestimmtes soziales oder wirtschaftliches Ergebnis abzielen. Behörden, gemeinnützige Organisationen oder private Einrichtungen im öffentlichen Sektor können diese durchführen. Da die öffentlichen und gemeinnützigen Ausgaben stärker unter die Lupe genommen werden, wird die Fähigkeit, die Wirkung klar und quantitativ darzustellen, zu einer wachsenden Priorität.

Datengestützte Wirkungsanalyse ist entscheidend für die Bewertung der Effektivität von von Regierungen und NGOs geführten sozialen und wirtschaftlichen Programmen und schafft Rechenschaftspflicht gegenüber Spendern und Steuerzahlern. Obwohl es offensichtlich sein mag, dass Programmverantwortliche wissen möchten, ob ihre Initiativen im Großen und Ganzen effektiv sind, ist es noch wertvoller, die Hauptfaktoren für die Wirkung des Programms zu verstehen. Das Entschlüsseln des „Wie“ und „Warum“ hinter einem Erfolg oder Misserfolg ist hilfreicher als ein binäres „Ja“ oder „Nein“ und kann Stakeholdern helfen, Programme anzupassen, um optimalere Ergebnisse zu erzielen.

Nehmen Sie zum Beispiel die Feiertagsinitiative „Open Streets“ von NYC, bei der ausgewählte Straßen für den Fahrzeugverkehr gesperrt wurden, um an bestimmten Tagen im Dezember den Umsatz lokaler Geschäfte anzukurbeln. Die Wirkungsanalyse zeigte den potenziellen Anstieg der Ausgaben infolge der Initiative und die treibenden Kräfte hinter den zusätzlichen Geschäftsausgaben durch den Fußgängerverkehr auf. Darüber hinaus bestätigte die Bewertung, dass die Ausweitung der Fußgängerzonenzeiten zu höheren Umsätzen führte.

Die Stadt St. Louis konnte mit ihrem 911 Call Diversion Program die Stunden von Disponenten und Beamten, die für Fälle im Bereich Verhaltensgesundheit aufgewendet wurden, reduzieren. Gewaltfreie Anrufe bezüglich psychischer und Verhaltensgesundheit werden an Krisenberater und nicht an Polizeibeamte weitergeleitet. Die Stadt hat den Wert des Programms effektiv ermittelt, indem sie eine rigorose Test-vs.-Matched-Control-Methodik eingesetzt hat.

Hier sind vier Möglichkeiten, wie Wirkungsanalysen den Wert dieser Arten von Initiativen aufzeigen können:

• Evidentielle Einblicke: Empirische Beweise können zeigen, was funktioniert, was nicht und unter welchen Bedingungen.
• Nachhaltigkeitsbewertung: Die längerfristige Nachhaltigkeit von Initiativen kann ebenfalls gemessen werden, was mehr Vertrauen in langfristige Ergebnisse schafft.
• Verbesserte Rechenschaftspflicht: Begründen Sie die finanzielle Investition in eine Initiative und helfen Sie bei zukünftigen Spendenaktionen.
• Lernen und Entscheidungsfindung: Individuelles und organisationales Lernen wird gefördert und ermöglicht Entscheidungsträgern und Spendern, fundierte Entscheidungen zu treffen.

Die Notwendigkeit einer Wirkungsbewertung ist unkompliziert. Dennoch stehen einer breiteren Einführung mehrere Hindernisse im Weg:

• Finanzierungs- und Ressourcenengpässe: Wirkungsstudien können als „nice-to-have“ angesehen werden, was zu Herausforderungen bei der Sicherung der Finanzierung für die Datenerfassung und Datenanalysten führt.  
• Datenverfügbarkeit & Qualität: Reale Daten können oft verrauscht, minderwertig und veraltet sein. Regierungen und NGOs stehen oft vor Schwierigkeiten beim Sammeln präziser Daten, die bei der Bewertung der Auswirkungen nützlich sein können.  
• Zeitverzögerung zwischen Intervention & Auswirkung: Interventionen mit öffentlichen Auswirkungen können Zeit benötigen, um Vorteile zu erzielen, was zu langen Verzögerungen führt, bevor Evaluierungen durchgeführt und der Nutzen der Initiative bewertet werden können.
• Festlegung der Ausgangsleistung: Der Wert einer Intervention kann nur bestimmt werden, wenn ein klares Verständnis des Status quo vorliegt, doch die Einrichtung echter „Test“- und „Kontrollgruppen“ ist möglicherweise nicht immer praktikabel.

Aufgrund dieser Herausforderungen fällt es Regierungen und gemeinnützigen Organisationen oft schwer, die Auswirkungen ihrer Initiativen zu messen, was sie daran hindert, die Auswirkungen genau vorherzusagen und überzeugende Geschäftsmodelle für wesentliche Finanzierungen zu erstellen.

Während New York City das Gefühl hatte, dass seine Fußgängerzonen-Initiative in der Weihnachtszeit ein Erfolg war, war die Durchführung einer umfassenden Evaluierungsstudie nicht einfach. Die Regierung versuchte, die lokalen Händler zu befragen, doch die gesammelten Daten waren spärlich und voreingenommen. Die einzigartig gewerbliche Umgebung machte die Analyse der Initiative noch schwieriger.

Ähnlich verhielt es sich, als die Stadt St. Louis versuchte, die Wirksamkeit ihres Programms zur Umleitung von Anrufen im Bereich psychischer und Verhaltensgesundheit zu testen. Die Betreiber konnten keine zuverlässige Methodik entwickeln, um die Wirksamkeit zu beurteilen. Stattdessen mussten sich Beamte hauptsächlich auf anekdotisches Feedback verlassen, dem die notwendige Strenge fehlte, um gewählte Amtsträger davon zu überzeugen, die Finanzierung zu erneuern.

Wirkungsanalysen können mit einem strukturierten Ansatz, der Zielsetzung, Intelligenz, Optimierung und Design sowie die Zustimmung wichtiger Stakeholder und Entscheidungsträger umfasst, einfacher durchgeführt werden. Der Aufbau von Prozessen und Partnerschaften kann jedem Kunden aus dem öffentlichen Sektor oder einer gemeinnützigen Organisation helfen, ein anspruchsvoller Wirkungsbeurteiler zu Become.

Der erste Schritt in jedem effektiven Wirkungsbewertungsprogramm ist es, die primären Ziele der Organisation zu identifizieren. Der Input von Programmeigentümern, Sponsoren und Geldgebern kann ein Evaluierungsdesign ermöglichen, das die relevantesten Schwerpunkte priorisiert. Die Beantwortung einiger Schlüsselfragen kann helfen, organisatorische Ziele zu definieren:

• Was sind die Ziele des Programms?  
• Was ist der erwartete Zeitrahmen für diese Ziele?
• Sind weitere gleichzeitige Initiativen geplant?

Der nächste Schritt ist die Ermittlung von Erfolgsindikatoren. Dies können kurzfristige Metriken sein, wie Echtzeitdaten, die eine sofortige Quantifizierung der Auswirkungen ermöglichen würden, oder langfristige Indikatoren, die einen Einblick in systemische Veränderungen über einen längeren Zeitraum geben können. Diese langfristigen Indikatoren können Wohnungsraten, den Erfolg von Beschäftigungsprogrammen und Indikatoren für die wirtschaftliche Entwicklung umfassen.

Die Beteiligung der Stakeholder bei der Festlegung von Zielen und Leistungskennzahlen kann je nach Größe und Struktur der Organisation variieren. In kleinen Organisationen können Stakeholder mit Zeichnungsberechtigung, wie geschäftsführende Direktoren, das Engagement der Organisation für die Evaluierung vorantreiben. Jedoch sollten Datenerfassungsteams in größeren Organisationen mit internen Teams zusammenarbeiten, um genaue und unvoreingenommene Daten zu sammeln. Manche Organisationen verfügen möglicherweise sogar über engagierte Lern- und Wirkungsteams, die für die Konzeption, Ausführung und Interpretation von Evaluierungsinitiativen verantwortlich sind.

Es muss eine Bewertung der intern und über externe Quellen verfügbaren Daten der Organisation durchgeführt werden, um etwaige Lücken im Datensatz zu beurteilen. In der Intelligence -Phase könnten die Insights-Datenbank und die Standortdaten von Mastercard die Daten des Initiativeninhabers für eine umfassendere Bewertung ergänzen. Einige dieser einzigartigen Datensätze umfassen den Inclusive Growth Score™, der lokalen Planern, Regierungen und Impact-Investoren einen klaren, einfachen Überblick über soziale und wirtschaftliche Indikatoren auf Nachbarschaftsebene bietet.

Als Teil der Optimierung werden die Initiativenverantwortlichen dann die in der Intelligenzphase identifizierten Daten nutzen, um kurz- und langfristige Wirkungsanalysen mittels Datenanalysen durchzuführen. Abhängig von den Forschungszielen kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercard’s Test & Learn® oder durch standortbasierte Erkenntnisse erfolgen, die geografisch segmentierte, öffentlich verfügbare Metriken mit Ausgabenanalysen verknüpfen.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Design- Phase können Wirkungsinitiativen weiter angepasst und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisationalen Wirkungsziele erfüllen.

Durch dieses mehrstufige Rahmenwerk arbeitet Mastercard weiterhin mit Organisationen in ihren Gemeinden zusammen, um ihnen zu helfen, ihre Wirkung erfolgreich zu bewerten. Diese Partnerschaften haben gemeinnützigen und staatlichen Organisationen geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Impact-Initiativen zu entwerfen.

Als Teil der Optimierung werden die Initiativenverantwortlichen dann die in der Intelligenzphase identifizierten Daten nutzen, um kurz- und langfristige Wirkungsanalysen mittels Datenanalysen durchzuführen. Abhängig von den Forschungszielen kann dies in Form von Tests und Optimierungen über Plattformen wie Mastercard’s Test & Learn® oder durch standortbasierte Erkenntnisse erfolgen, die geografisch segmentierte, öffentlich verfügbare Metriken mit Ausgabenanalysen verknüpfen.

Die Ergebnisse der Analyse sollten dann die zukünftige Strategie der Regierung oder der gemeinnützigen Organisation leiten. In der Design- Phase können Wirkungsinitiativen weiter angepasst und für die Finanzierung priorisiert werden, um sicherzustellen, dass sie ihren Gemeinschaften dienen und die organisationalen Wirkungsziele erfüllen.

Durch dieses mehrstufige Rahmenwerk arbeitet Mastercard weiterhin mit Organisationen in ihren Gemeinden zusammen, um ihnen zu helfen, ihre Wirkung erfolgreich zu bewerten. Diese Partnerschaften haben gemeinnützigen und staatlichen Organisationen geholfen, wirkungsvolle Ergebnisse zu erzielen und zukünftige Impact-Initiativen zu entwerfen.