Η αξιολόγηση αντίκτυπου προωθεί την αποτελεσματική αλλαγή στον δημόσιο τομέα

Η αξία των πρωτοβουλιών αντίκτυπου —των προσπαθειών με γνώμονα τον σκοπό που έχουν σχεδιαστεί για τη δημιουργία ουσιαστικών κοινωνικών ή οικονομικών αποτελεσμάτων— αναγνωρίζεται παγκοσμίως από κυβερνήσεις και μη κερδοσκοπικούς οργανισμούς. Πώς διασφαλίζουν όμως οι οργανισμοί ότι αυτές οι πρωτοβουλίες του δημόσιου τομέα είναι πραγματικά αποτελεσματικές; Η απάντηση βρίσκεται στη αυστηρή αξιολόγηση του αντίκτυπου.

Η αξιολόγηση του αντίκτυπου δεν αποτελεί πλέον απλώς μια επιθυμητή προσθήκη· είναι μια κρίσιμη διαδικασία που βοηθά τις δικαιοδοσίες να προβλέπουν και να προλαμβάνουν τον αντίκτυπο προγραμμάτων και παρεμβάσεων, μετρώντας με ακρίβεια τα αποτελέσματα.

Οι κυβερνήσεις κάθε τύπου διερευνούν εδώ και καιρό τρόπους για να αξιοποιήσουν νέους τύπους πληροφοριών που υποστηρίζουν τη λήψη τεκμηριωμένων πολιτικών αποφάσεων βάσει δεδομένων. Αυτό το είδος ανώνυμων και συγκεντρωτικών δεδομένων νέας γενιάς μπορεί να αξιοποιηθεί για την παρακολούθηση του αντίκτυπου συγκεκριμένων γεγονότων ή αλλαγών στη δημόσια σφαίρα σε διάφορους κλάδους της αγοράς σε σχεδόν πραγματικό χρόνο.

Η Mastercard έχει συνάψει συμπράξεις δημόσιου και ιδιωτικού τομέα με κυβερνήσεις και μη κερδοσκοπικούς οργανισμούς για τη μέτρηση του αντίκτυπου των πρωτοβουλιών και των επενδύσεών τους μέσω εργαλείων όπως το Mastercard Test & Learn®. Αυτό το ιστολόγιο επισημαίνει το έργο μας σε δύο έργα αξιολόγησης αντίκτυπου: την εορταστική πρωτοβουλία Open Streets της Νέας Υόρκης και το πρόγραμμα 911 Call Diversion του Σεντ Λούις.

We also delve into the growing focus on impact evaluation, its rationale and the obstacles to overcome.

Οι πρωτοβουλίες αντίκτυπου είναι προσανατολισμένες στον σκοπό, οργανωμένες και χρονικά περιορισμένες προσπάθειες που στοχεύουν σε ένα συγκεκριμένο κοινωνικό ή οικονομικό αποτέλεσμα. Οι κυβερνητικοί φορείς, οι μη κερδοσκοπικοί οργανισμοί ή οι ιδιωτικές οντότητες στον δημόσιο τομέα μπορούν να τις υλοποιήσουν. Καθώς οι δαπάνες του δημόσιου και του μη κερδοσκοπικού τομέα τίθενται υπό αυστηρότερο έλεγχο, η ικανότητα σαφούς και ποσοτικής ανάδειξης του αντίκτυπου αποτελεί αυξανόμενη προτεραιότητα.

Η μέτρηση του αντίκτυπου βάσει δεδομένων είναι ζωτικής σημασίας για την αξιολόγηση της αποτελεσματικότητας των κοινωνικών και οικονομικών προγραμμάτων με επικεφαλής κυβερνήσεις και ΜΚΟ, ενώ παρέχει λογοδοσία σε δωρητές και φορολογούμενους. Παρόλο που μπορεί να είναι προφανές ότι οι υπεύθυνοι προγραμμάτων θα ήθελαν να γνωρίζουν εάν οι πρωτοβουλίες τους είναι γενικά αποτελεσματικές, είναι ακόμη πιο πολύτιμο να κατανοήσουμε τους βασικούς παράγοντες που επηρεάζουν τον αντίκτυπο του προγράμματος. Η αποκάλυψη του «πώς» και του «γιατί» πίσω από μια επιτυχία ή αποτυχία είναι πιο χρήisιμη από ένα δυαδικό «ναι» ή «όχι» και μπορεί να βοηθήσει τα ενδιαφερόμενα μέρη να προσαρμόσουν τα προγράμματα ώστε να προσφέρουν πιο βέλτιστα αποτελέσματα.

Λάβετε για παράδειγμα την πρωτοβουλία Open Streets για τις διακοπές στη Νέα Υόρκη, στο πλαίσιο της οποίας επιλεγμένοι δρόμοι έκλεισαν για την κυκλοφορία οχημάτων ώστε να ενισχυθούν οι πωλήσεις στις τοπικές επιχειρήσεις κατά τη διάρκεια ορισμένων ημερών τον Δεκέμβριο. Η αξιολόγηση αντίκτυπου αποκάλυψε την πιθανή αύξηση των δαπανών που προέκυψε από την πρωτοβουλία και τους παράγοντες πίσω από τις αυξημένες δαπάνες για τις επιχειρήσεις από την κίνηση των πεζών. Επιπλέον, η αξιολόγηση επιβεβαίωσε ότι οι παρατεταμένες ώρες πεζοδρόμησης οδήγησαν σε υψηλότερες πωλήσεις.

Ο δήμος του St. Louis μπόρεσε να μειώσει τις ώρες που αφιερώνουν οι τηλεφωνητές και οι αστuνομικοί σε υποθέσεις υγείας και συμπεριφοράς μέσω του προγράμματος εκτροπής κλήσεων 911 (911 Call Diversion Program). Οι κλήσεις που αφορούν θέματα ψυχικής και συμπεριφορικής υγείας χωρίς περιστατικά βίας προωθούνται σε συμβούλους διαχείρισης κρίσεων και όχι σε αστυνομικούς. Η πόλη εντόπισε αποτελεσματικά την αξία του προγράμματος αξιοποιώντας μια αυστηρή μεθοδολογία δοκιμής έναντι ταιριασμένου ελέγχου (test vs. matched control).

Ακολουθούν τέσσερις τρόποι με τους οποίους οι αξιολογήσεις επιπτώσεων μπορούν να δείξουν την αξία αυτών των τύπων πρωτοβουλιών:

• Τεκμηριωμένες επισημάνσεις: Τα εμπειricά δεδομένα μπορούν να δείξουν τι λειτουργεί, τι όχι και υπό ποιες συνθήκες.
• Αξιολόγηση βιωσιμότητας: Η μακροπρόθεσμη βιωσιμότητα των πρωτοβουλιών μπορεί επίσης να μετρηθεί, παρέχοντας μεγαλύτερη σιγουριά για τα μακροπρόθεσμα αποτελέσματα.
• Βελτιωμένη λογοδοσία: Δικαιολογήστε την οικονομική επένδυση σε μια πρωτοβουλία και συμβάλετε στη μελλοντική συγκέντρωση κεφαλαίων.
• Μάθηση και λήψη αποφάσεων: Ενθαρρύνεται η μάθηση σε ατομικό και οργανωτικό επίπεδο, επιτρέποντας στους υπεύθυνους λήψης αποφάσεων και στους δωρητές να λαμβάνουν τεκμηριωμένες αποφάσεις.

Η ανάγκη για αξιολόγηση του αντίκτυπου είναι απλή. Ωστόσο, πολλά εμπόδια στέκονται εμπόδιο στην ευρύτερη υιοθέτηση:

• Περιορισμοί χρηματοδότησης και πόρων: Οι μελέτες αξιολόγησης αντίκτυπου μπορεί να θεωρηθούν ως πολυτέλεια («nice-to-have»), γεγονός που οδηγεί σε δυσκολίες εξασφάλισης χρηματοδότησης για τη συλλογή δεδομένων και τους αναλυτές δεδομένων.  
• Διαθεσιμότητα & ποιότητα δεδομένων: Τα δεδομένα του πραγματικού κόσμου συχνά μπορεί να είναι θορυβώδη, χαμηλής ποιότητας και παλαιoς. Οι κυβερνήσεις και οι ΜΚΟ αντιμετωπίζουν συχνά δυσκολίες στη συλλογή ακριβών δεδομένων που μπορούν να φανούν χρήσιμα στην αξιολόγηση του αντίκτυπου.  
• Χρονική υστέρηση μεταξύ παρέμβασης και αντίκτυπου: Οι παρεμβάσεις για δημόσιο αντίκτυπο ενδέχεται να χρειαστούν χρόνο για να αποδώσουν καρπούς, με αποτέλεσμα μεγάλες καθυστερήσεις προτού μπορέσουν να διεξαχθούν αξιολογήσεις και να εκτιμηθεί το όφελος της πρωτοβουλίας.
• Καθιέρωση βασικής γραμμής απόδοσης: Η αξία μιας παρέμβασης μπορεί να προσδιοριστεί μόνο εάν υπάρχει σαφής κατανόηση του status quo, ωστόσο η δημιουργία αληθινών ομάδων «δοκιμής» και «ελέγχου» ενδέχεται να μην είναι πάντα εφικτή.

Λόγω αυτών των προκλήσεων, οι κυβερνήσεις και οι μη κερδοσκοπικοί οργανισμοί συχνά δυσκολεύονται να μετρήσουν τον αντίκτυπο των πρωτοβουλιών τους, γεγονός που τους εμποδίζει να προβλέψουν με ακρίβεια τον αντίκτυπο και να δημιουργήσουν πειστικά επιχειρηματικά σχέδια για την απαραίτητη χρηματοδότηση.

Παρόλο που η Νέα Υόρκη είχε την αίσθηση ότι η προσπάθεια πεζοδρόμησης για την περίοδο των γιορτών στέφθηκε με επιτυχία, η διενέργεια μιας ολοκληρωμένης μελέτης αξιολόγησης των επιπτώσεων δεν ήταν εύκολη υπόθεση. Η κυβέρνηση προσπάθησε να πραγματοποιήσει έρευνα στους τοπικούς εμπόρους, αλλά τα δεδομένα που συγκεντρώθηκαν ήταν ελλιπή και μεροληptικά. Το αποκλειστικά εμπορικό περιβάλλον της γειτονιάς έκανε ακόμη πιο δύσκολη την ανάλυση της πρωτοβουλίας.

Ομοίως, όταν η πόλη του Σεντ Λούις προσπάθησε να δοκιμάσει την αποτελεσματικότητα του προγράμματος εκτροπής κλήσεων για την ψυχική υγεία και τη συμπεριφορά, οι χειριστές δεν μπόρεσαν να κατασκευάσουν μια αξιόπιστη μεθοδολογία για τη μέτρηση της αποτελεσματικότητας. Αντιθέτως, οι υπεύθυνοι έπρεπε να βασίζονται κυρίως σε ανεπίσημες ανατροφοδοτήσεις, οι οποίες στερούνταν της απαραίτητης αυστηρότητας για να πείσουν τους αιρετούς αξιωματούχους να ανανεώσουν τη χρηματοδότηση.

Οι εκτιμήσεις επιπτώσεων μπορούν να γίνουν πιο απλές με μια δομημένη προσέγγιση, η οποία καλύπτει τον καθορισμό στόχων, την ανάλυση πληροφοριών, τη βελτιστοποίηση και τον σχεδιασμό, καθώς και τη διασφάλιση της δέσμευσης βασικών ενδιαφερόμενων μερών και υπευθύνων λήψης αποφάσεων καθ' όλη τη διάρκεια. Η δημιουργία διαδικασιών και συνεργασιών μπορεί να βοηθήσει οποιονδήποτε πελάτη από τον δημόσιο τομέα ή μη κερδοσκοπικό οργανισμό να Become ένας έμπειρος αξιολογητής επιπτώσεων.

Το πρώτο βήμα σε οποιοδήποτε αποτελεσματικό πρόγραμμα αξιολόγησης αντίκτυπου είναι ο εντοπισμός των κύριων στόχων του οργανισμού. Η συμβολή από τους υπευθύνους προγραμμάτων, τους χορηγούς και τους χρηματοδότες μπορεί να επιτρέψει τον σχεδιασμό μιας αξιολόγησης που δίνει προτεραιότητα στους πλέον σχετικούς τομείς εστίασης. Η απάντηση σε ορισμένες καίριες ερωτήσεις μπορεί να συμβάλει στον καθορισμό των οργανωτικών στόχων:

• Ποιοι είναι οι στόχοι του προγράμματος;  
• Ποιο είναι το αναμενόμενο χρονοδιάγραμμα για αυτούς τους στόχους;
• Υπάρχουν άλλες παράλληλες πρωτοβουλίες που σχεδιάζονται;

Το επόμενο βήμα είναι ο εντοπισμός δεικτών επιτυχίας. Αυτές μπορεί να είναι βραχυπρόθεσμες μετρήσεις, όπως δεδομένα σε πραγματικό χρόνο που θα επέτρεπαν την άμεση ποσοτικοποίηση του αντίκτυπου, ή μακροπρόθεσμοι δείκτες που μπορούν να προσφέρουν μια εικόνα της συστημικής αλλαγής σε βάθος χρόνου. Αυτοί οι μακροπρόθεσμοι δείκτες μπορεί να περιλαμβάνουν τα ποσοστά στέγασης, την επιτυχία των προγραμμάτων απασχόλησης και τους δείκτες οικονομικής ανάπτυξης.

Η συμμετοχή των ενδιαφερομένων στον καθορισμό στόχων και δεικτών απόδοσης μπορεί να διαφέρει ανάλογα με το μέγεθος και τη δομή του οργανισμού. Στους μικρούς οργανισμούς, τα ενδιαφερόμενα μέρη με εξουσιοδότηση υπογραφής, όπως οι εκτελεστικοί διευθυντές, μπορούν να υποστηρίξουν ενεργά τη δέσμευση του οργανισμού για αξιολόγηση. Ωστόσο, στους μεγαλύτερους οργανισμούς, οι ομάδες συλλογής δεδομένων θα πρέπει να συνεργάζονται με εσωτερικές ομάδες για τη συλλογή ακριβών και αμερόληπτων δεδομένων. Ορισμένοι οργανισμοί ενδέχεται ακόμη και να διαθέτουν αποκλειστικές ομάδες εκμάθησης & αντίκτυπου (learning & impact) που είναι υπεύθυνες για τον σχεδιασμό, την εκτέλεση και την ερμηνεία πρωτοβουλιών αξιολόγησης.

Πρέπει να διενεργηθεί αξιολόγηση των δεδομένων που είναι διαθέσιμα στον οργανισμό, εσωτερικά και μέσω εξωτερικών πηγών, προκειμένου να αξιολογηθούν τυχόν κενά στο σύνολο δεδομένων. Μέσω της φάσης Intelligence , η βάση δεδομένων πληροφοριών και τα στοιχεία τοποθεσίας της Mastercard θα μπορούσαν να συμπληρώσουν τα δεδομένα του υπεύθυνου της πρωτοβουλίας για μια πιο εμπεριστατωμένη αξιολόγηση. Ορισμένα από αυτά τα μοναδικά σύνολα δεδομένων περιλαμβάνουν το Inclusive Growth Score™, το οποίο παρέχει σε τοπικούς πολεοδόμους, κυβερνήσεις και επενδυτές αντίκτυπου μια σαφή, απλή εικόνα των κοινωνικών και οικονομικών δείκτη σε επίπεδο γειτονιάς.

Ως μέρος του Optimization, οι υπεύθυνοι των πρωτοβουλιών θα χρησιμοποιήσουν στη συνέχεια τα δεδομένα που εντοπίστηκαν στη φάση της ευφυΐας για να πραγματοποιήσουν αξιολογήσεις βραχυπρόθεσμου και μακροπρόθεσμου αντίκτυπου μέσω της ανάλυσης δεδομένων. Ανάλογα με τους στόχους της έρευνας, αυτό μπορεί να λάβει τη μορφή δοκιμών και βελτιστοποίησης μέσω πλατφορμών όπως το Test & Learn® της Mastercard ή μέσω πληροφοριών βάσει τοποθεσίας που συνδυάζουν δημόσια διαθέσιμες μετρικές γεωγραφικά τμηματοποιημένες με δεδομένα δαπανών.

Τα αποτελέσματα της ανάλυσης θα πρέπει στη συνέχεια να καθοδηγήσουν τη μελλοντική στρατηγική της κυβέρνησης ή του μη κερδοσκοπικού οργανισμού. Μέσω της φάσης Design , οι πρωτοβουλίες αντίκτυπου μπορούν να προσαρμοστούν περαιτέρω και να ιεραρχηθούν για χρηματοδότηση, ώστε να διασφαλιστεί ότι εξυπηρετούν τις κοινότητές τους και πληρούν τους οργανωτικούς στόχους αντίκτυπου.

Μέσω αυτού του πλαισίου πολλαπλών βημάτων, η Mastercard συνεχίζει να συνεργάζεται με οργανισμούς στις κοινότητές της για να τους βοηθήσει να αξιολογήσουν επιτυχώς τον αντίκτυπό τους. Αυτές οι συνεργασίες βοήθησαν τους μη κερδοσκοπικούς οργανισμούς και τους κυβερνητικούς φορείς να σημειώσουν αποτελεσματικά εντυπωσιακά αποτελέσματα και να σχεδιάσουν μελλοντικές πρωτοβουλίες αντίκτυπου.

Ως μέρος του Optimization, οι υπεύθυνοι των πρωτοβουλιών θα χρησιμοποιήσουν στη συνέχεια τα δεδομένα που εντοπίστηκαν στη φάση της ευφυΐας για να πραγματοποιήσουν αξιολογήσεις βραχυπρόθεσμου και μακροπρόθεσμου αντίκτυπου μέσω της ανάλυσης δεδομένων. Ανάλογα με τους στόχους της έρευνας, αυτό μπορεί να λάβει τη μορφή δοκιμών και βελτιστοποίησης μέσω πλατφορμών όπως το Test & Learn® της Mastercard ή μέσω πληροφοριών βάσει τοποθεσίας που συνδυάζουν δημόσια διαθέσιμες μετρικές γεωγραφικά τμηματοποιημένες με δεδομένα δαπανών.

Τα αποτελέσματα της ανάλυσης θα πρέπει στη συνέχεια να καθοδηγήσουν τη μελλοντική στρατηγική της κυβέρνησης ή του μη κερδοσκοπικού οργανισμού. Μέσω της φάσης Design , οι πρωτοβουλίες αντίκτυπου μπορούν να προσαρμοστούν περαιτέρω και να ιεραρχηθούν για χρηματοδότηση, ώστε να διασφαλιστεί ότι εξυπηρετούν τις κοινότητές τους και πληρούν τους οργανωτικούς στόχους αντίκτυπου.

Μέσω αυτού του πλαισίου πολλαπλών βημάτων, η Mastercard συνεχίζει να συνεργάζεται με οργανισμούς στις κοινότητές της για να τους βοηθήσει να αξιολογήσουν επιτυχώς τον αντίκτυπό τους. Αυτές οι συνεργασίες βοήθησαν τους μη κερδοσκοπικούς οργανισμούς και τους κυβερνητικούς φορείς να σημειώσουν αποτελεσματικά εντυπωσιακά αποτελέσματα και να σχεδιάσουν μελλοντικές πρωτοβουλίες αντίκτυπου.