Wie man Belege prüft
Lernen Sie, eine Quelle zu prüfen, Ergebnisse zu vergleichen und zu erkennen, welche Schlussfolgerungen die Daten noch nicht erlauben.
Welche Aussagen die jeweilige Quelle erlaubt
Gesetz oder Verordnung
Ermöglicht die PrüfungWelche Regel für wen und ab wann festgelegt wurde.
Die GrenzeDer Wortlaut einer Regel belegt nicht, dass sie eingehalten wurde.
Website einer Institution
Ermöglicht die PrüfungWie die Institution ein Programm, ihre Maßnahmen und ihre Aufzeichnungen beschreibt.
Die GrenzeDie Beschreibung allein belegt nicht, dass das Programm die veröffentlichten Ergebnisse verursacht hat.
Wirkungsevaluation
Ermöglicht die PrüfungWelcher Anteil einer Veränderung nach der verwendeten Methode auf die Intervention zurückgeführt werden kann.
Die GrenzeDie Schlussfolgerung hängt von Datenqualität, Vergleich und Kontext ab. Sie garantiert nicht dieselbe Wirkung in einem anderen Land, Zeitraum oder Maßstab.
Simulation
Ermöglicht die PrüfungWas unter den zugrunde gelegten Annahmen und Zusammenhängen geschehen würde.
Die GrenzeDie Berechnung verwandelt ihre Annahmen nicht in Tatsachen. Eine geänderte Hypothese kann die Schlussfolgerung verändern.
Ein Erfolgsfall hilft, eine Hypothese zu formulieren. Für eine Entscheidung müssen wir auch Misserfolge, Alternativen und Einführungsbedingungen kennen. Suchen Sie das vollständige Dokument und die Passage, die die Aussage stützt, nicht nur den Titel oder einen Bericht darüber.
Das Ergebnis hat sich verändert. Lag es an der Maßnahme?
Eine Ankündigung beschreibt eine Absicht. Eine Aufzeichnung kann eine Leistung belegen. Der Abschluss eines Bauvorhabens belegt nicht automatisch, dass es das Problem gelöst hat. Verbessert sich ein Indikator nach einer Maßnahme, beweist dies für sich genommen nicht, dass die Maßnahme die Ursache war.
- Ausgangswert
- Das ist die vor der Änderung gemessene Situation. Geben Sie Definition, betrachtete Bevölkerung, Zeitraum und Quelle an, damit später ein Vergleich möglich ist.
- Vergleich
- Fragen Sie, was ohne die Intervention wahrscheinlich geschehen wäre. Diese Situation wird als kontrafaktisch bezeichnet. Die Methode muss den Vergleich begründen; irgendeine andere Gemeinde oder Gruppe auszuwählen reicht nicht.
- Andere Erklärungen
- Die Nachfrage nach der Leistung, die Zusammensetzung der Zielgruppe und andere Maßnahmen können sich im selben Zeitraum ändern. Die Evaluation sollte konkurrierende Erklärungen prüfen.
Ein geeigneter Vergleich hängt von der Frage und den verfügbaren Daten ab. Das Verfolgen von Zielwerten hilft, Veränderungen zu erkennen, aber die Zuordnung einer Wirkung zu einer Maßnahme erfordert zusätzliche Untersuchungen. Ist diese Zuordnung nicht möglich, bleibt das beobachtete Ergebnis nützlich, sofern die Grenze offengelegt wird.
Wer wurde mitgezählt und wer blieb außen vor?
Eine Gesamtzahl kann den Anteil der versorgten Menschen verbergen. Ein Anteil kann Unterschiede zwischen Menschen verbergen. Prüfen Sie vor dem Vergleich drei Punkte:
- Nenner
- Das ist die Gesamtzahl, die als Grundlage eines Anteils dient. Prüfen Sie, wer in die Berechnung hätte eingehen können, wer ausgeschlossen wurde und wie mit Stornierungen oder fehlenden Aufzeichnungen umgegangen wurde.
- Dasselbe Maß
- Halten Sie Definition, Einheit, Zeitraum und Kriterien vergleichbar. Ändert sich die Messung, dokumentieren Sie dies; ein Zahlenunterschied kann durch die Methode entstehen.
- Verteilung
- Betrachten Sie Gebiete, Gruppen und besonders schwierige Situationen. Eine Verbesserung insgesamt kann mit einer Verschlechterung für einen Teil der Menschen einhergehen.
Hypothetisches Beispiel: Verfolgen Sie zwei Gruppen von Anträgen über denselben Zeitraum, mit derselben Definition des Abschlusses und ohne Ausschlüsse. Am Ende hat jede Stelle 80 Anträge ihrer Gruppe abgeschlossen. Die Zahlen dienen nur dazu, den Anteil zu erklären.
Stelle A
Beobachtete Gruppe80 abgeschlossene Anträge von insgesamt 100.
Abgeschlossener Anteil80 ÷ 100 = 80%.
Stelle B
Beobachtete Gruppe80 abgeschlossene Anträge von insgesamt 200.
Abgeschlossener Anteil80 ÷ 200 = 40%.
Die Zahl der Abschlüsse ist gleich, der Anteil unterschiedlich. Das zeigt noch nicht, welche Stelle besser arbeitet: Komplexität, Ressourcen, Qualität und Reaktionszeit sind ebenfalls wichtig. Wer weiter wartet, muss sichtbar bleiben.
Welche Unsicherheit kann die Schlussfolgerung noch verändern?
- Fehlende Information
- Geben Sie an, wonach, in welchen Quellen und bis zu welchem Zeitpunkt gesucht wurde. Wenn kein Nachweis einer Leistung gefunden wird, beweist dies allein weder Untätigkeit noch Betrug.
- Unpräzises Ergebnis
- Eine Evaluation kann mit unterschiedlich großen Wirkungen vereinbar sein. Ein nicht eindeutiges Ergebnis belegt weder, dass die Maßnahme funktioniert hat, noch, dass sie wirkungslos war.
- Anderer Kontext
- Vergleichen Sie vor der Übertragung einer Erfahrung Zielgruppe, Institutionen, Kapazität, Kosten und Maßstab. Die Kenntnis ungünstiger Fälle hilft zu erkennen, wann der Mechanismus versagt.
Eine nützliche Schlussfolgerung benennt, was beobachtet wurde, welche Interpretation gestützt wird und was offenbleibt. Die Stärke der Schlussfolgerung muss der Stärke der Belege entsprechen.
Wie Belege helfen, den Kurs zu korrigieren
Eine Evaluation dient auch der Entscheidung, ob eine Intervention beibehalten, ausgeweitet, korrigiert oder beendet werden sollte. Prüfen Sie Kosten, Qualität, Auswirkungen auf unterschiedliche Gruppen und unerwünschte Folgen. Ein einzelner Zielwert entscheidet nicht all diese Fragen.
- Den Fehler untersuchen
- Unterscheiden Sie Messprobleme, Umsetzungsschwierigkeiten, veränderte Rahmenbedingungen und Mängel der Ausgestaltung. Jede Ursache kann eine andere Antwort verlangen.
- Die nächste Entscheidung vergleichen
- Auch die Beibehaltung des Status quo hat Folgen. Vergleichen Sie Alternativen, Änderungskosten und Bedingungen für die Aufrechterhaltung der Versorgung.
- Begründen und dokumentieren
- Im vorgeschlagenen Modell würden Korrekturen oder Unterbrechungen Verantwortliche, eine Begründung, die Möglichkeit zur Stellungnahme und den Schutz der Kontinuität der Dienstleistungen erfordern. Die institutionellen Regeln werden weiterhin untersucht.
Die Quellen leiten die Analyse an und belegen nicht die Umsetzbarkeit von OpenGov3. Die Unterscheidungen zu Aufzeichnungen, Verantwortlichkeiten und Überprüfung werden auch in den Abschnitten 3 bis 6 des Whitepapers 2.0 ausgeführt.
Dieses Thema im Modell
Im vorgeschlagenen Modell erfordert die Bewertung eines Projekts die Unterscheidung zwischen Leistung, beobachteter Veränderung und einer der Intervention zurechenbaren Wirkung. Diese Fragen ermöglichen es, Schlussfolgerungen anzufechten und zu entscheiden, was korrigiert werden muss.