Wirkungsmessung neu gedacht: Innovative Ansätze für komplexe Systeme (1)

Die Erhebung, Analyse und Bewertung der Wirkung unserer Interventionen ist wesentlicher Bestandteil für jeden Lernprozess, ganz gleich ob wir diese in einem Projekt, Programm oder Initiative verpacken.

Diese Lernprozesse basieren dabei meist auf der immer gleichen Abfolge von Schritten:

Wir planen.
Wir handeln.
Wir messen.
Wir lernen.

Und wir planen erneut, vielleicht dieses Mal besser.

Diese Lernschleife ist der Grundstein für alles, was wir als “agil” bezeichnen. Und Grundlage dafür, wie wir die Welt verstehen. Dabei interessiert vor allem das Folgende:

• Haben wir unsere zuvor definierten Ziele erreicht (die Frage nach Effektivität)?
• Rechtfertigt der Nutzen die eingesetzten Ressourcen (wie steht es um die Effizienz)?
• Und hatte die Intervention möglicherweise unbeabsichtigte negative Auswirkungen? (wie verantwortungsvoll haben wir gehandelt?)

Es geht dabei – je nach Intervention und Akteurskonstellation – entweder eher um die Transparenz gegenüber einem Geld- oder Auftraggeber oder um das Lernen aus den gesammelten Daten, Erfahrungen und Ergebnissen für die eigene Weiterentwicklung.

Wenn es um öffentliche Innovation geht, bewegen wir uns allerdings fast ausschließlich in lebendigen, adaptiven und komplexen, weil sozialen Systemen – also Organisationen und Gruppen, Städten und Nachbarschaften, Netzwerken und Communities. Wie bereits an anderer Stelle erläutert, haben wir in solchen Fällen kein klares Verhältnis von linearen Kausalitäten. Die Wirkungen unserer Intervention sind nur äußerst schwer zu bestimmen (contribution) und schon gar nicht zweifelsfrei einer einzelnen Aktivität zuzuordnen (attribution).

Diese Spannung zwischen dem Wunsch nach einem besseren Verständnis zwischen dem Zusammenhang von Intervention und Ergebnis auf der einen Seite und dem Verweis auf die undurchdringbare Komplexität sozialer Systeme auf der anderen, wird von Expert:innen seit langem ausführlich diskutiert, ohne dass (Spoiler Alert) eine Auflösung in Sicht ist.

Schauen wir uns das genauer an:

Unsere Vorstellung einer „evidenzbasierten“ Bewertung von Wirkungen wurzelt in drei Annahmen, die eng mit dem verbunden sind, was wir als wissenschaftliche Methode bezeichnen:

1. Objektivität: Die Annahme, dass Beobachter:in und das Beobachtete getrennt sind.
2. Kohärenz: Die Annahme, dass jede Regel, die in der Vergangenheit wahr war, auch in der Zukunft wahr sein wird.
3. Selektion: Die Annahme, dass der Großteil der Elemente in und außerhalb eines Systems für eine Darstellung der vorliegenden Auswirkungen irrelevant sind.

Alle drei Annahmen sind mindestens problematisch:

1. Objektivität: Die vermeintliche Trennung von Beobachter und Beobachtung 

Die Trennung zwischen denen, die beobachten, messen und analysieren, und dem, was sie beobachten, messen und analysieren, produziert immer einen blinden Fleck: Wie streng die angestrebte Trennung von Beobachter:in und Beobachteten auch sein mag, die Beobachter:innen verschwindet nie ganz. Bestenfalls werden sie nur für sich selbst unsichtbar.

Für unseren Versuch, zu bewerten und zu lernen, bedeutet dies: Jede Diskussion über Wirkung wird immer schon durch jene definiert, die sie führen. Bürger:innen haben eine ganz andere Meinung darüber, was bei einer Gesetzesinitiative “herausgekommen ist“, als Politiker:innen. Geld- und Auftraggeber:innen haben ‘Erfolgskriterien’, die ihren eigenen internen Reportinglogiken folgen. Sozialforscher:innen, Aktivist:innen und Unternehmer:innen ebenfalls. Und ganz sicher auch zukünftige Generationen. 

Dies bezieht sich nicht nur auf die Kategorien, nach denen wir suchen, sondern auch auf die von uns verwendeten Messgrößen, die zugrunde liegenden Modelle und sogar auf die Idee, überhaupt nach etwas zu suchen, das wir als „Wirkung“ bezeichnen.

In einer Studie für die Stiftung Mercator, an der Simon kürzlich beteiligt war, fiel ein schönes Zitat, das dies im Wesentlichen auf den Punkt bringt:

Reporting is a Funder’s Logic.

Wir ergänzen: Impact auch.

2. Kohärenz: Prinzipiell einzigartig

Obwohl ohne Zweifel ein Kausalzusammenhang zwischen Vergangenheit und Zukunft besteht, ist es problematisch zu behaupten, dass jede Regel, jede Kausalität, die wir in der Vergangenheit entdeckt zu haben glauben, auch für die Zukunft gilt. Der Grund dafür ist einfach: Organisationen lernen, Kontexte ändern sich, Systeme entwickeln sich weiter. Lernschleifen finden auf vielen verschiedenen Ebenen statt und betreffen uns und alles um uns herum. 

Das hat Rittel und Webber zu der Einschätzung veranlasst, dass jedes vertrackte Problem „im Wesentlichen einzigartig“ ist. Trotz zahlreicher Gemeinsamkeiten zwischen einem Problem und einem anderen gibt es immer etwas, das „von übergeordneter Bedeutung“ ist, zum Beispiel ein besonderer Zeitpunkt, eine spezifische Vorgeschichte, eine einzigartige Konstellation von Akteuren.

Diese Feststellung stellt eine der zentralen Herausforderungen für jede Skalierungsbemühung, beispielsweise einer sozialen Innovation, dar: Nur weil es in der Vergangenheit funktioniert hat, heißt das nicht, dass wir wirklich wissen, warum es funktioniert hat und wie es in der Zukunft funktionieren könnte. 

Das bedeutet nicht, dass wir gar kein Verständnis darüber haben, was vor sich geht. Das haben wir durchaus. Aber es ist eben nicht viel mehr als eine subjektive Beobachtung zu einem bestimmten Zeitpunkt, an einem Ort und unter spezifischen Umständen.

Elena Esposito drückt es so aus: „Die Vergangenheit lehrt uns, aber wir können nicht vorhersagen, welche Lehre daraus gezogen wird.“

3. Selektion: Mehr als die Summe seiner Teile?

Für die Erfassung und Analyse der Wirkung einer Intervention gibt es immer mehr potenzielle Datenpunkte, als Zeit, Geld oder Wille zur Auseinandersetzung mit den Ergebnissen vorhanden sind.

Daher wird jeder Versuch, eine Intervention mit einer Wirkung zu verknüpfen, oft stark vereinfacht und basiert auf zahlreichen Annahmen. Dinge werden zusammengefasst, andere werden ausgelassen oder nur am Rande erwähnt. Jede Erkenntnis, jedes Ergebnis der „treibenden Kräfte“ oder „Schlüsselergebnisse“ ist nur eine, mal mehr, mal weniger gut begründete Version relevanter Ereignisse. Eine plausible Geschichte.

Es steckt jedoch mehr dahinter.

Strukturen wie Institutionen, Erwartungen und Erzählungen bilden komplexe soziale Systeme durch einen kontinuierlichen Prozess der sogenannten Emergenz. Wir alle kennen das Sprichwort, dass das Ganze mehr ist als die Summe seiner Teile. Das bedeutet, dass einfache Regeln und Interaktionen dazu neigen, Muster zu bilden, die nur durch das Zusammenspiel jedes Elements im System entstehen. Wirkung emergiert also. Wirkung ist ein Muster, das aus einem System entsteht, das im Laufe der Zeit mit sich selbst interagiert. Sie ist ein Phänomen höherer Ordnung, das nicht auf einige wenige vorausgehende Interventionen zurückgeführt werden kann. Die Verknüpfung einzelner Interventionen und der daraus resultierenden Wirkung vermischt diese beiden Ebenen. 

Das ist nicht unbedingt das, was die meisten Geldgeber:innen, Politiker:innen oder Wähler:innen hören wollen. Und es ist auch nicht wirklich praktisch. Wenn alles potenziell wichtig ist, wie können wir dann daraus lernen, was dieses eine Mal wirklich den Unterschied gemacht hat und zu einer Wirkung entscheidend beigetragen hat? Wie können wir Prioritäten setzen und daraus lernen? Und wie können wir in Zukunft unerwünschte Auswirkungen vermeiden?

Nun, wir wissen es nicht. Aber es gibt Ansätze und Ideen es besser zu machen:

Zwei Erkenntnisse

Der erste Schritt besteht darin, sich von der Tunnelperspektive auf „evidenzbasierte Wirkung“ zu lösen und zu erkennen, dass zwei Dinge gleichzeitig wahr sind:

1. Vergangene Bewertungen und Zukunftsprognosen sind imaginär: plausible Szenarien, die auf der Idee einer klaren Kausalität aufbauen, auch wenn die Welt einer solchen Logik nicht folgt.
2. Unsere Organisationen folgen dennoch dieser Logik. Man könnte sogar sagen: Deshalb haben wir diese Organisationen überhaupt erst – um zu reduzieren, zu filtern, zu vereinfachen. Um eine komplexe Welt zugänglich und handhabbar zu machen.

Das erinnert an das Unschärfe-Phänomen aus der Physik: Je genauer wir unsere Interventionen definieren wollen, desto unschärfer wird das Ergebnis, das wir erwarten können. Und umgekehrt: Je klarer wir das Ergebnis, die Wirkung definieren, desto offener müssten wir den Prozess und die Interventionen auf dem Weg dorthin halten. Entweder oder, also?

Ein Ausweg aus dieser Schleife besteht darin, die Wirkung als das zu sehen und zu behandeln, was sie wirklich ist: ein Werkzeug. Und wie bei jedem Werkzeug ist es wichtig zu wissen, wie man es effektiv einsetzt.

Wir glauben daher, dass wir uns bei der Wirkungsmessung weniger auf das Ergebnis und vielmehr auf den Prozess konzentrieren sollten.

Wie das aussehen könnte? Dazu bald mehr in Teil 2.