Ir para o conteúdo principal

Artigo

A avaliação de impacto impulsiona mudanças eficazes no setor público

Publicado: 08 de novembro de 2024 | Atualizado: 29 de outubro de 2025

Paisagem urbana

Introdução

O valor das iniciativas de impacto — esforços orientados por propósitos, projetados para criar resultados sociais ou econômicos significativos — é universalmente reconhecido por governos e organizações sem fins lucrativos. Mas como as organizações garantem que essas iniciativas do setor público sejam genuinamente eficazes? A resposta reside em uma avaliação de impacto rigorosa.

A avaliação de impacto não é mais apenas um diferencial; é um processo crítico que ajuda as jurisdições a prever e antecipar o impacto de programas e intervenções e a medir resultados com precisão.

Governos de todos os tipos exploram há muito tempo maneiras de aproveitar novos tipos de insights que apoiam a formulação de políticas informadas e baseadas em dados. Esse tipo de dado anonimizado e agregado de última geração pode ser aproveitado para rastrear o impacto de eventos específicos ou mudanças no domínio público em diferentes segmentos do setor em tempo quase real.

A Mastercard formou parcerias público-privadas com governos e organizações sem fins lucrativos para medir o impacto de suas iniciativas e investimentos por meio de ferramentas como o Mastercard Test & Learn®. Este blog destaca nosso trabalho em dois projetos de avaliação de impacto: a iniciativa de fim de ano Open Streets da Cidade de Nova York e o programa de desvio de chamadas 911 de St. Louis.

Também nos aprofundamos no foco crescente na avaliação de impacto, sua lógica e os obstáculos a serem superados.

 

O valor no impacto

Iniciativas de impacto são esforços orientados por propósitos, organizados e com prazo determinado, visando um resultado social ou econômico específico. Agências governamentais, organizações sem fins lucrativos ou entidades privadas no setor público podem realizá-los. À medida que os gastos públicos e de organizações sem fins lucrativos passam por um escrutínio maior, a capacidade de demonstrar impacto de forma clara e quantitativa é uma prioridade crescente.

A medição de impacto baseada em dados é fundamental para avaliar a eficácia de programas sociais e econômicos liderados por governos e ONGs e proporciona transparência aos doadores e contribuintes. Embora possa ser óbvio que os proprietários do programa queiram saber se suas iniciativas são amplamente eficazes, é ainda mais valioso entender os principais impulsionadores do impacto do programa. Desvendar o 'como' e o 'porquê' por trás de um sucesso ou fracasso é mais útil do que um 'sim' ou 'não' binário e pode ajudar as partes interessadas a ajustar programas para oferecer resultados mais otimizados.

Veja, por exemplo, a iniciativa de fim de ano Open Streets da Cidade de Nova York, na qual ruas selecionadas foram fechadas para o tráfego de veículos para impulsionar as vendas em empresas locais durante certos dias de dezembro. A avaliação de impacto revelou o aumento potencial nos gastos resultante da iniciativa e os fatores por trás do aumento incremental nos gastos para empresas provenientes do tráfego de pedestres. Além disso, a avaliação confirmou que o horário estendido de pedestrialização levou a vendas maiores.

A cidade de St. Louis conseguiu reduzir as horas de despachantes e policiais gastas em casos de saúde comportamental com seu Programa de Desvio de Chamadas 911. Chamadas não violentas de saúde mental e comportamental são encaminhadas para conselheiros de crise em vez de policiais. A cidade identificou efetivamente o valor do programa aproveitando uma metodologia rigorosa de teste x controle pareado.

Aqui estão quatro maneiras pelas quais as avaliações de impacto podem demonstrar o valor desses tipos de iniciativas:

  • Insights baseados em evidências: Evidências empíricas podem mostrar o que funciona, o que não funciona e sob quais condições.
  • Avaliação de sustentabilidade: a sustentabilidade de longo prazo das iniciativas também pode ser medida, proporcionando mais confiança nos resultados de longo prazo.
  • Responsabilidade aprimorada: Justifique o investimento financeiro em uma iniciativa e ajude na captação de recursos futura.
  • Aprendizado e tomada de decisão: O aprendizado em nível individual e organizacional é incentivado e permite que tomadores de decisão e doadores tomem decisões informadas.

 

Obstáculos à avaliação de impacto

A necessidade de avaliação de impacto é simples. Ainda assim, vários obstáculos impedem uma adoção mais ampla:

  • Restrições de financiamento e recursos: estudos de avaliação de impacto podem ser vistos como um "diferencial", levando a desafios na obtenção de financiamento para coleta de dados e analistas de dados.  
  • Disponibilidade e qualidade dos dados: Dados do mundo real podem, muitas vezes, ser ruidosos, de baixa qualidade e datados. Governos e ONGs frequentemente enfrentam dificuldades na coleta de dados precisos que possam ser úteis na avaliação de impacto.  
  • Intervalo de tempo entre intervenção e impacto: Intervenções para impacto público podem levar tempo para gerar benefícios, resultando em longos atrasos antes que as avaliações possam ser conduzidas e o benefício da iniciativa seja avaliado.
  • Estabelecendo o desempenho de referência: O valor de uma intervenção só pode ser determinado se houver uma compreensão clara do status quo, mas estabelecer grupos reais de “teste” e “controle” nem sempre pode ser viável.

Devido a esses desafios, governos e organizações sem fins lucrativos frequentemente têm dificuldade em medir o impacto de suas iniciativas, o que os impede de prever o impacto com precisão e criar casos de negócios convincentes para financiamento essencial.

Embora a cidade de Nova York tivesse a sensação de que seu esforço de pedestrialização na temporada de festas foi um sucesso, realizar um estudo abrangente de avaliação de impacto não foi fácil. O governo tentou pesquisar as lojas locais, mas os dados coletados eram escassos e tendenciosos. O ambiente singularmente comercial do bairro tornou ainda mais difícil analisar a iniciativa.

Da mesma forma, quando a cidade de St. Louis tentou testar a eficácia de seu programa de desvio de chamadas de saúde mental e comportamental, os operadores não conseguiram construir uma metodologia confiável para avaliar a eficácia. Em vez disso, os funcionários tiveram que confiar principalmente em feedbacks anedóticos, que careciam do rigor necessário para convencer os funcionários eleitos a renovar o financiamento.

 

Estrutura de 3 etapas para avaliação de impacto prático

As avaliações de impacto podem ser mais diretas com uma abordagem estruturada, abrangendo a definição de objetivos, inteligência, otimização e design, além do apoio das principais partes interessadas e tomadores de decisão durante todo o processo. A construção de processos e parcerias pode ajudar qualquer cliente do setor público ou sem fins lucrativos a se tornar um avaliador de impacto sofisticado.

Definição de objetivos

A primeira etapa em qualquer programa eficaz de avaliação de impacto é identificar os objetivos principais da organização. A contribuição dos proprietários, patrocinadores e financiadores do programa pode permitir um design de avaliação que priorize as áreas de foco mais relevantes. Responder a algumas questões fundamentais pode ajudar a definir os objetivos organizacionais:

  • Quais são os objetivos do programa?  
  • Qual é o prazo esperado para essas metas?
  • Existem outras iniciativas simultâneas planejadas?

A próxima etapa é identificar indicadores de sucesso. Estas podem ser métricas de curto prazo, como dados em tempo real que permitiriam a quantificação imediata do impacto, ou indicadores de longo prazo que podem fornecer uma visão sobre a mudança sistêmica ao longo de um período estendido. Esses indicadores de longo prazo podem incluir taxas de habitação, sucesso de programas de emprego e indicadores de desenvolvimento econômico.

O envolvimento das partes interessadas na definição de objetivos e métricas de desempenho pode diferir dependendo do tamanho e da estrutura da organização. Em pequenas organizações, as partes interessadas com autoridade de assinatura, como diretores executivos, podem defender o compromisso da organização com a avaliação. No entanto, em organizações maiores, as equipes de coleta de dados devem fazer parceria com equipes internas para coletar dados precisos e imparciais. Algumas organizações podem até ter equipes dedicadas de aprendizado e impacto responsáveis por projetar, executar e interpretar iniciativas de avaliação.

Inteligência, otimização e design

Uma avaliação dos dados disponíveis para a organização, internamente e por meio de fontes externas, deve ser conduzida para avaliar quaisquer lacunas no conjunto de dados. Por meio da fase de Intelligence , o banco de dados de insights e os ativos de localização da Mastercard puderam complementar os dados do proprietário da iniciativa para uma avaliação mais abrangente. Alguns desses conjuntos de dados exclusivos incluem o Inclusive Growth Score™, que fornece a planejadores locais, governos e investidores de impacto uma visão clara e simples dos indicadores sociais e econômicos em nível de bairro.

Como parte da Otimização, os proprietários da iniciativa usarão então os dados identificados na fase de inteligência para realizar avaliações de impacto de curto e longo prazo por meio de análise de dados. Dependendo dos objetivos da pesquisa, isso pode assumir a forma de testes e otimização por meio de plataformas como o Test & Learn® da Mastercard ou por meio de insights baseados em localização que combinam métricas disponíveis publicamente segmentadas geograficamente com insights de gastos.

Os resultados da análise devem, então, orientar a estratégia futura do governo ou da organização sem fins lucrativos. Por meio da fase de Design , as iniciativas de impacto podem ser melhor adaptadas e priorizadas para financiamento, a fim de garantir que atendam às suas comunidades e aos objetivos de impacto organizacional.

Por meio desta estrutura de várias etapas, a Mastercard continua a colaborar com organizações em suas comunidades para ajudá-las a avaliar seu impacto com sucesso. Essas parcerias ajudaram organizações sem fins lucrativos e governamentais a gerar resultados impactantes de forma eficaz e a projetar futuras iniciativas de impacto.

Em 2023, a Mastercard fez uma parceria com o governo de Nova York para medir o impacto de sua iniciativa de pedestrialização durante as festas de fim de ano de 2022, que gerou US$ 3 milhões em gastos incrementais. Quando a cidade tentou medir o impacto pela primeira vez, começou pesquisando diretamente as lojas locais. No entanto, os dados resultantes eram escassos e tendenciosos, e o ambiente de bairro exclusivamente comercial tornou a análise ainda mais desafiadora.

A Mastercard estabeleceu a estrutura de três etapas de inteligência, design e otimização e usou nossos conjuntos de dados exclusivos para examinar os gastos em quarteirões exclusivos para pedestres e adjacentes em comparação com os gastos em quarteirões semelhantes que não foram transformados em calçadões durante esse período. A etapa de otimização permitiu então que a cidade de Nova York medisse o impacto econômico incremental da iniciativa. Os resultados incluíram:

  • Observando um aumento de 6,6% nos gastos de portadores de cartão domésticos
  • Identificando setores específicos que impulsionam o crescimento dos gastos — acomodações, vestuário e locais de alimentação
  • Determinamos a variável que gera o maior gasto incremental (horas de operação); as lojas que permaneceram abertas por mais tempo observaram um aumento desproporcionalmente grande nos gastos.

As autoridades municipais puderam então passar para a última etapa, projetar e entender como podem apoiar melhor as pequenas empresas investindo em iniciativas econômicas, como a criação de áreas de pedestres.

Em 2022, a cidade de St. Louis lançou um programa de desvio de chamadas do 911 para permitir que os despachantes de emergência encaminhem certas chamadas de saúde mental e comportamental não violentas para conselheiros de crise na Behavioral Health Response, a provedora de crises sem fins lucrativos da cidade. Para garantir que os funcionários eleitos continuassem financiando o programa, os responsáveis pela iniciativa precisavam provar a eficácia do programa na melhoria dos resultados de saúde pública e segurança pública. Foi aí que a Mastercard entrou.

Ao aproveitar o Test & Learn® da Mastercard, a cidade conseguiu medir o impacto incremental gerado por meio do Programa de Desvio do 911. A análise constatou que as chamadas determinadas como focadas em saúde mental e posteriormente encaminhadas a conselheiros de crise tiveram uma taxa de resolução de 80% sem intervenção policial ou de serviços de emergência, economizando 900 despachos de polícia e ambulância e US$ 400.000 apenas em 2021.

Antes da implementação, a maior parte das evidências era anedótica e não fornecia uma visão completa do impacto da intervenção. Wilford Pinkey, que lidera o programa no Gabinete do Prefeito de St. Louis, destacou o valor de ter dados mais robustos nos quais confiar: “Agora temos os dados que nos informam sobre o engajamento, os resultados e nossa capacidade de lidar com isso. Isso nos permite saber o que aprendemos sobre o acompanhamento e como podemos evitar engajamentos repetidos. Sabemos que há mais chamadas que poderíamos desviar.”

Conclusão

Como parte da Otimização, os proprietários da iniciativa usarão então os dados identificados na fase de inteligência para realizar avaliações de impacto de curto e longo prazo por meio de análise de dados. Dependendo dos objetivos da pesquisa, isso pode assumir a forma de testes e otimização por meio de plataformas como o Test & Learn® da Mastercard ou por meio de insights baseados em localização que combinam métricas disponíveis publicamente segmentadas geograficamente com insights de gastos.

Os resultados da análise devem, então, orientar a estratégia futura do governo ou da organização sem fins lucrativos. Por meio da fase de Design , as iniciativas de impacto podem ser melhor adaptadas e priorizadas para financiamento, a fim de garantir que atendam às suas comunidades e aos objetivos de impacto organizacional.

Por meio desta estrutura de várias etapas, a Mastercard continua a colaborar com organizações em suas comunidades para ajudá-las a avaliar seu impacto com sucesso. Essas parcerias ajudaram organizações sem fins lucrativos e governamentais a gerar resultados impactantes de forma eficaz e a projetar futuras iniciativas de impacto.

Book a demo

Request a personalized demo to learn how Mastercard can enhance your business through our products and services.

Mastercard