Skip to main content

Artikel

Effektutvärdering driver effektiv förändring i den offentliga sektorn

Publicerad: 8 november 2024 | Uppdaterad: 29 oktober 2025

Stadssilhuett

Introduktion

Värdet av initiativ för genomslagskraft – ändamålsdrivna insatser utformade för att skapa meningsfulla sociala eller ekonomiska resultat – är allmänt erkänt av regeringar och ideella organisationer. Men hur säkerställer organisationer att dessa initiativ inom den offentliga sektorn verkligen är effektiva? Svaret ligger i en rigorös konsekvensanalys.

Effektutvärdering är inte längre bara bra att ha; det är en kritisk process som hjälper jurisdiktioner att prognostisera och förutse effekterna av program och insatser samt att korrekt mäta resultaten.

Regeringar av alla slag har länge utforskat sätt att utnyttja nya typer av insikter som stödjer datadrivet och välinformerat beslutsfattande. Denna typ av anonymiserad och aggregerad data av nästa generation kan användas för att spåra effekterna av specifika händelser eller förändringar i den offentliga miljön över olika branschsegment i nära realtid.

Mastercard har bildat partnerskap mellan offentliga och privata aktörer med regeringar och ideella organisationer för att mäta effekterna av deras initiativ och investeringar genom verktyg som Test & Learn® från Mastercard. Den här bloggen belyser vårt arbete i två konsekvensanalysprojekt: New York Citys Open Streets-initiativ för helger och St. Louis 911 Call Diversion-program.

Vi fördjupar oss även i det ökande fokuset på konsekvensutvärdering, dess motivering och de hinder som behöver övervinnas.

 

Värdet av effekten

Påverkansinitiativ är målstyrda, organiserade och tidsbegränsade insatser som syftar till ett specifikt socialt eller ekonomiskt resultat. Offentliga myndigheter, ideella organisationer eller privata aktörer inom den offentliga sektorn kan genomföra dem. Eftersom offentliga utgifter och utgifter i ideella organisationer granskas mer ingående, är förmågan att tydligt och kvantitativt visa på effekt en växande prioritet.

Datadriven effektmätning är avgörande för att bedöma effektiviteten i sociala och ekonomiska program ledda av regeringar och icke-statliga organisationer och ger ansvarsskyldighet gentemot givare och skattebetalare. Även om det kan verka uppenbart att programägare vill veta om deras initiativ är generellt effektiva, är det ännu mer värdefullt att förstå de viktigaste drivkrafterna för programmets effekt. Att reda ut ”hur” och ”varför” bakom en framgång eller ett misslyckande är mer hjälpsamt än ett binärt ”ja” eller ”nej” och kan hjälpa intressenter att justera program för att leverera mer optimala resultat.

Ta till exempel NYC:s Open Streets-semesterinitiativ där vissa gator stängdes av för fordonstrafik för att öka försäljningen hos lokala företag under vissa dagar i december. Konsekvensutvärderingen avslöjade den potentiella ökningen av utgifter till följd av initiativet och drivkrafterna bakom inkrementella utgifter för företag från gångtrafik. Dessutom bekräftade utvärderingen att de förlängda timmarna för fotgängare ledde till högre försäljning.

Staden St. Louis kunde minska antalet timmar för avsändare och poliser för beteendehälsorelaterade ärenden med sitt program för avledning av 911-samtal. Icke-våldsamma samtal rörande psykisk hälsa och beteende styrs till krisrådgivare i stället för till poliser. Staden identifierade effektivt programmets värde genom att utnyttja en strikt test- kontra matchad kontrollmetodik.

Här är fyra sätt på vilka effektutvärderingar kan visa värdet av dessa typer av initiativ:

  • Bevisbaserade insikter: Empiriska bevis kan visa vad som fungerar, vad som inte gör det och under vilka förhållanden.
  • Hållbarhetsbedömning: Initiativens långsiktiga hållbarhet kan också mätas, vilket ger större tillförsikt gällande långsiktiga resultat.
  • Förbättrad ansvarighet: Motivera den ekonomiska investeringen i ett initiativ och få hjälp med framtida insamlingar.
  • Inlärning och beslutsfattande: Inlärning på individ- och organisationsnivå uppmuntras och möjliggör för beslutsfattare och givare att fatta välinformerade beslut.

 

Hinder för effektutvärdering

Behovet av effektutvärdering är enkelt. Ändå finns det flera hinder för ett bredare antagande:

  • Finansierings- och resursbegränsningar: Effektutvärderingsstudier kan ses som ett ”trevligt komplement”, vilket leder till utmaningar med att säkra finansiering för datainsamling och dataanalytiker.  
  • Datatillgänglighet och -kvalitet: Data från verkligheten kan ofta vara brusiga, av låg kvalitet och föråldrade. Regeringar och icke-statliga organisationer har ofta svårt att samla in korrekt data som kan vara användbar för att bedöma effekter.  
  • Tidsfördröjning mellan insats och effekt: Insatser för allmänhetens bästa kan ta tid att ge resultat, vilket leder till långa fördröjningar innan utvärderingar kan genomföras och initiativets nytta kan bedömas.
  • Etablera baslinjeprestanda: Värdet av en åtgärd kan endast fastställas om det finns en tydlig förståelse för status quo, men att upprätta verkliga ”test”- och ”kontrollgrupper” är inte alltid genomförbart.

På grund av dessa utmaningar kämpar regeringar och ideella organisationer ofta med att mäta effekten av sina initiativ, vilket hindrar dem från att korrekt förutsäga effekter och skapa övertygande affärscase för väsentlig finansiering.

Även om New York City hade en känsla av att deras insats för att göra staden fotgängarvänlig under julhelgen var framgångsrik, var det inte lätt att genomföra en omfattande konsekvensanalys. Regeringen försökte undersöka de lokala handlarna, men den insamlade datan var knapphändig och partisk. Den unika kommersiella grannskapsmiljön gjorde det ännu svårare att analysera initiativet.

På samma sätt, när staden St. Louis försökte testa effektiviteten av sitt program för omledning av samtal som gäller psykisk hälsa och beteendehälsa, kunde operatörerna inte konstruera en tillförlitlig metod för att mäta effektiviteten. Istället var tjänstemän tvungna att främst förlita sig på anekdotisk feedback, som saknade den nödvändiga rigor som krävs för att övertyga folkvalda tjänstemän att förnya finansieringen.

 

Ramverk i 3 steg för praktisk effektutvärdering

Konsekvensanalyser kan vara enklare med en strukturerad metod som omfattar målformulering, underrättelser, optimering och design, samt stöd från viktiga intressenter och beslutsfattare under hela processen. Att bygga processer och partnerskap kan hjälpa alla kunder inom offentlig sektor eller ideella organisationer att Become skickliga konsekvensutvärderare.

Målsättning

Det första steget i alla effektiva effektutvärderingsprogram är att identifiera organisationens primära mål. Input från programägare, sponsorer och finansiärer kan möjliggöra en utvärderingsdesign som prioriterar de mest relevanta fokusområdena. Att besvara några nyckelfrågor kan hjälpa till att definiera organisatoriska mål:

  • Vilka är programmets mål?  
  • Vad är den förväntade tidsramen för dessa mål?
  • Finns det andra samtidiga initiativ planerade?

Nästa steg är att identifiera indikatorer på framgång. Dessa kan vara kortsiktiga mätvärden, till exempel realtidsdata som skulle möjliggöra omedelbar kvantifiering av effekten, eller långsiktiga indikatorer som kan ge en inblick i systemisk förändring under en längre tidsperiod. Dessa långsiktiga indikatorer kan inkludera bostadsgrader, framgångar för jobbprogram och indikatorer för ekonomisk utveckling.

Intressenters delaktighet i att fastställa mål och resultatindikatorer kan variera beroende på organisationens storlek och struktur. I små organisationer kan intressenter med teckningsrätt, exempelvis verkställande direktörer, driva organisationens engagemang för utvärdering. I större organisationer bör dock datainsamlingsteam samarbeta med interna team för att samla in korrekt och opartisk data. Vissa organisationer kan till och med ha dedikerade lärande- och effektteam som ansvarar för att utforma, genomföra och tolka utvärderingsinitiativ.

Intelligens, optimering och design

En bedömning av de data som är tillgängliga för organisationen, internt och genom externa källor, måste göras för att utvärdera eventuella luckor i datamängden. Genom Intelligence- fasen kan insiktsdatabasen och platstillgångarna från Mastercard komplettera initiativägarens data för en mer omfattande utvärdering. Några av dessa unika datamängder inkluderar Inclusive Growth Score™, som ger lokala planerare, regeringar och effektinvesterare en tydlig, enkel bild av sociala och ekonomiska indikatorer på grannskapsnivå.

Som en del av Optimering kommer initiativägare sedan att använda den data som identifierats i analysfasen för att utföra kortsiktiga och långsiktiga konsekvensanalyser genom dataanalys. Beroende på forskningsmålen kan detta ta formen av testning och optimering genom plattformar som Mastercard Test & Learn® eller genom platsbaserade insikter som kombinerar offentligt tillgängliga mätetal segmenterade geografiskt med utgiftsinsikter.

Resultaten av analysen bör sedan vägleda den framtida strategin för myndigheten eller den ideella organisationen. Genom designfasen kan insatsinitiativ ytterligare skräddarsys och prioriteras för finansiering för att säkerställa att de tjänar sina samhällen och uppfyller organisationens effektmål.

Genom detta ramverk i flera steg fortsätter Mastercard att samarbeta med organisationer i sina samhällen för att hjälpa dem att framgångsrikt utvärdera sin påverkan. Dessa partnerskap har hjälpt ideella organisationer och statliga organisationer att effektivt driva effektfulla resultat och utforma framtida påverkan-initiativ.

Under 2023 samarbetade Mastercard med New Yorks styre för att mäta effekten av deras gågatuinitiativ under julhelgen 2022, vilket genererade 3 miljoner dollar i ökade utgifter. När staden först försökte mäta effekten började de med att undersöka lokala handlare direkt. Resultatet blev dock bristfällig och partisk data, och det unika kommersiella grannskapet gjorde det ännu mer utmanande att analysera.

Mastercard satte upp ramverket i tre steg med analys, design och optimering och använde våra unika datamängder för att undersöka utgifterna i gågator och angränsande stadskvarter jämfört med utgifterna i liknande stadskvarter som inte blev gågator under den perioden. Optimeringssteget tillät sedan NYC att mäta den inkrementella ekonomiska effekten av initiativet. Resultaten inkluderade:

  • Ser en ökning på 6,6 % i utgifter från inhemska kortinnehavare
  • Identifiera specifika branscher som driver utgiftstillväxten—boende, kläder och matställen
  • Fastställde den variabel som driver den största ökningen av utgifter (öppettider); butiker som höll öppet längre såg en oproportionerligt stor ökning av utgifter.

Stadens tjänstemän kunde sedan gå vidare till sista steget, design, och förstå hur det bäst kan stödja små företag genom att investera i ekonomiska initiativ, till exempel gågator.

År 2022 lanserade staden St. Louis ett 911-omledningsprogram för att göra det möjligt för larmoperatörer att skicka vissa icke-våldsamma samtal om psykisk hälsa till krisrådgivare på Behavioral Health Response, stadens icke-vinstdrivande krisleverantör. För att säkerställa att förtroendevalda fortsatte att finansiera programmet behövde initiativägarna bevisa programmets effektivitet för att förbättra resultaten för både folkhälsa och allmän säkerhet. Det är här Mastercard kom in i bilden.

Genom att utnyttja Test & Learn® från Mastercard kunde staden mäta den inkrementella effekten av 911 Diversion Program. Analysen visade att samtal som bedömdes vara psykiskt hälsorelaterade och därefter dirigerades till krisrådgivare såg en lösningsgrad på 80 % utan polis eller EMS-insats, vilket sparade 900 polis- och ambulansutryckningar och 400 000 $ bara under 2021.

Innan implementeringen var merparten av bevisen anekdotiska och gav inte en fullständig bild av effekten av interventionen. Wilford Pinkey, som leder programmet på St. Louis borgmästarkontor, lyfte fram värdet av att ha mer robust data att förlita sig på: ”Nu har vi data som berättar för oss om engagemanget, resultaten och vår förmåga att hantera det. Det låter oss veta vad vi lärde oss om uppföljningen och hur vi kan förhindra upprepade engagemang. Vi vet att det finns fler samtal som vi skulle kunna styra om.”

Slutsats

Som en del av Optimering kommer initiativägare sedan att använda den data som identifierats i analysfasen för att utföra kortsiktiga och långsiktiga konsekvensanalyser genom dataanalys. Beroende på forskningsmålen kan detta ta formen av testning och optimering genom plattformar som Mastercard Test & Learn® eller genom platsbaserade insikter som kombinerar offentligt tillgängliga mätetal segmenterade geografiskt med utgiftsinsikter.

Resultaten av analysen bör sedan vägleda den framtida strategin för myndigheten eller den ideella organisationen. Genom designfasen kan insatsinitiativ ytterligare skräddarsys och prioriteras för finansiering för att säkerställa att de tjänar sina samhällen och uppfyller organisationens effektmål.

Genom detta ramverk i flera steg fortsätter Mastercard att samarbeta med organisationer i sina samhällen för att hjälpa dem att framgångsrikt utvärdera sin påverkan. Dessa partnerskap har hjälpt ideella organisationer och statliga organisationer att effektivt driva effektfulla resultat och utforma framtida påverkan-initiativ.

Boka en demo

Begär en skräddarsydd demo för att ta reda på hur Mastercard kan förbättra din verksamhet genom våra produkter och tjänster.

Mastercard