Fakten, Fakten,
Fakten –
und immer an die Wirkung denken
Wer einen Blick in unsere Wirkungsschmiede wirft, kommt aus dem Staunen nicht heraus: Seit vier Jahren wird dort gewerkelt und gehämmert, geschmiedet und gelötet – und das trotz heftiger Umbrüche etwa durch Corona oder Krieg. Alles für das eine Ziel: Immer besser werden, immer mehr Wirkung entfalten.
Dafür schauen unsere Expertinnen und Experten von „Value for Good“ seit 2019 ganz genau hin und messen in Form von Befragungen unter den Geförderten jedes Jahr einmal im Frühjahr und einmal im Herbst, wie es um unseren gesellschaftlichen Impact bestellt ist. Gute Ergebnisse freuen uns natürlich, schlechte Zahlen ärgern uns – und spornen uns an: Was können wir anders machen? Wo ist der Haken? Wie kann es besser gehen? Müssen wir unsere Theory of Change und damit auch unser Programm überdenken?
Dann mal hinein in den Datenberg! Naja, oder zumindest in einen kleinen Teil davon mit den wichtigsten Ergebnissen.
Wer will noch mal, wer hat noch nicht:
der Rücklauf unserer Umfragen
Beginnen wir mit einem Überblick. Die Befragung des Jahrgangs 2019 ist vorbei, wir haben zuletzt also die Jahrgänge 2020 bis 2022 untersucht, um zweierlei herauszufinden: Welche Entwicklung sehen wir nach zwei Jahren im Stipendium? Und: Wie entwickeln sich die geförderten Jugendlichen im Vergleich zur Kontrollgruppe? Mit dem Rücklauf unserer Fragebögen waren wir auch in den letzten beiden Runden sehr zufrieden – außer mit dem der Kontrollgruppe 2020, aus der im Frühjahr 2023 nur 25 Jugendliche mitmachten. Was ist da los?! Wir wissen es nicht. Kriegen es aber bestimmt raus. Für uns hieß das auf Empfehlung von „Value for Good“: Die Zahlen aus dieser Gruppe sind nicht belastbar, spielen also erst einmal keine Rolle.
Zweimal BÄM!
– und ein kleines WHAT?!
Für uns ist dieser Chart immer einer der wichtigsten. Wir haben die Geförderten aus den Jahrgängen 2020 bis 2022 und die Jugendlichen aus den Kontrollgruppen befragt: Hast du in den vergangenen zwölf Monaten ein neues gesellschaftlichen Projekt angestoßen? Die Zahlen oben spiegeln die Prozentzahlen jener Jugendlichen wider, die darauf mit „Ja“ geantwortet haben.
Die beiden guten Nachrichten: Der Jahrgang 2021 führte in der letzten Befragung im Herbst 2023 die Engagement-Tabelle an. BÄM! Der Jahrgang 2020 performte über den Zeitraum seit Herbst 2020 ganz wunderbar, hier wird die kausale Wirkung unserer Arbeit aufs gesellschaftliche Tun also sehr deutlich (Steigerung von 35 Prozent im Herbst 2020 auf 54 Prozent im Frühjahr 2023). Noch mal BÄM! Der Jahrgang 2022 bleibt zwar auf einem guten Niveau, wird allerdings von der Kontrollgruppe abgehängt. WHAT?! Hier schauen wir also mit Argusaugen hin und müssen unsere Schlüsse ziehen.
Lesen hilft!
Besonders für die eigene Meinungsbildung
Es ist zwar nur ein Detail, macht uns aber glücklich und ist in Anbetracht der Zahlen aus der Kontrollgruppe ein wirklich schönes Ergebnis: Besonders nach zwei Jahren im Stipendium, aber auch schon nach einem Jahr beschäftigen sich mehr START-Jugendliche mit politischen Nachrichten als zu Beginn des Stipendiums. Klasse! Der Wert des Jahrgangs 2022 ist fast gleich geblieben, liegt aber im Frühjahr 2023 deutlich über dem der Kontrollgruppe.
Klasse!
Unsere Stipendiatinnen und Stipendiaten sind mutig!
Uns macht stolz, dass wir unseren jungen Menschen offenbar Mut machen und sie sich Dinge trauen, obwohl sie sich sonst nicht besonders wohl dabei fühlen, etwa eine Präsentation in der Schule zu halten oder vor großem Publikum zu sprechen. Und das nicht nur bei einem Jahrgang, sondern gleich bei allen drei Kohorten.
Hammer!
Schöne Werte und ein leises
„Oops“ und „Puh“
Kontrolle über Dinge, die mir passieren
Skala (1 – 5) mit 1 = „trifft überhaupt nicht zu“ und 5 = „trifft voll zu“
Kann meine Zukunft beeinflussen
Skala (1 – 5) mit 1 = „trifft überhaupt nicht zu“ und 5 = „trifft voll zu“
Andere zum Handeln bewegen
Skala (1 – 5) mit 1 = „trifft überhaupt nicht zu“ und 5 = „trifft voll zu“
Zur Wirkung unseres Programms auf die Selbstwirksamkeit stellen wir den Jugendlichen drei Aussagen zur Bewertung vor: „Kontrolle über Dinge, die mir passieren“, „Kann meine Zukunft beeinflussen“ und „Andere zum Handeln bewegen“, die sie auf einer Skala von 1 („trifft überhaupt nicht zu“) bis 5 („trifft voll zu“) beantworten. Insgesamt können wir feststellen, dass die Werte unserer Jugendlichen über die drei Jahrgänge auf einem konstant hohen Niveau sind – und im Vergleich zur Kontrollgruppe meistens höher oder gleichauf liegen. Auch wenn da noch Luft nach oben ist. Aber wir sind zufrieden.
Und ein kleiner Hinweis – wir sind ja transparent – darf an dieser Stelle nicht fehlen: Unsere schlauen Füchse von „Value for Good“ haben festgestellt, dass wir bei der Befragung im Frühjahr und Herbst 2022 einen kleinen Programmierfehler hatten, den wir natürlich sofort korrigiert haben (die alten Werte sind mit der rot gestrichelten Linie markiert). Oops und Puh! Nun hat also alles wieder seine Ordnung. So soll’s sein.
Und wie geht’s jetzt weiter?
Wir sind mitten in einem Umbruch: Die Digitalisierung unserer Angebote, die Aufnahme von noch mehr Jugendlichen ins Programm, das Definieren neuer Ziele, das Anpassen des Programms – all das sind dicke Bretter. Deswegen haben wir uns dazu entschlossen, einmal die Pausentaste bei der Wirkungsmessung zu drücken und im Herbst 2023 keine Umfrage durchzuführen. Und uns zu fragen: Messen wir noch richtig? Haben wir eine zu kleine Stichprobe? Stellen wir die richtigen Fragen? Müssen wir unsere Ziele anpassen?
Im Kern ist unsere nächste Aufgabe, zunächst einmal unsere vier Jahre alte Wirkungslogik, die Theory of Change, genau unter die Lupe zu nehmen und anzupassen. Erst wenn das erfolgt ist, können wir wieder die richtigen Fragen stellen und valide Antworten generieren. Damit erfüllen wir genau den Zweck der Wirkungsmessung: Genau hinsehen, analysieren, anpassen – und weitermachen. Und wieder von vorne. Für immer mehr Impact.
