Referenzen
Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit
Gerne möchten wir Ihnen einen Einblick in unsere Arbeit geben. Nachfolgend wird daher eine Auswahl an aktuellen und abgeschlossenen Projekten vorgestellt, die am Kompetenzzentrum realisiert wurden.
Wirkungsorientierung & Wirkungsanalyse
Wissenschaftliche Begleitung des Projektes Konsum-KULTUR
Auftraggeber: AGJ - Fachverband für Prävention und Rehabilitation in der Erzdiözese Freiburg e.V.
Projektlaufzeit: 2024 - 2025
Jugendliche für das Thema Konsum zu sensibilisieren und ihre Gesundheits- und Konsumkompetenz zu stärken, ist das Ziel des Projektes Konsum-KULTUR, das vom AGJ-Fachverband für Prävention und Rehabilitation in der Erzdiözese Freiburg e.V. aktuell entwickelt und zukünftig durchgeführt wird. Das Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg wurde mit der wissenschaftlichen Begleitung beauftragt.
Konsum-KULTUR umfasst ein universelles und verhaltensbezogenes Suchtpräventionsprogramm und ein Schulungsangebot für AGJ-Suchtpräventionsfachkräfte. Es wird im Rahmen der Förderung im Masterplan Kinderschutz durch das Sozialministerium im Zeitraum von März 2024 bis Dezember 2025 konzipiert, evaluiert und von dafür geschulten Präventionsfachkräften der AGJ-Suchtberatungsstellen erprobt und umgesetzt.
Das substanzunabhängige Mehr-Ebenen-Programm richtet sich an Jugendliche im Alter von 14 bis 16 Jahren im Setting Schule, Jugendarbeit und Jugendhilfe wie auch ihr Umfeld. Im Rahmen der wissenschaftlichen Begleitung liegt der Fokus vor allem auf den Wirkungen, die das Programm erzielt. Hierzu wurde in einem ersten Schritt ein Wirkmodell entwickelt und darauf aufbauend soll eine Befragung der Jugendlichen an zwei Zeitpunkten erfolgen. Im Rahmen der Befragung wird ein quantitativer Fragebogen eingesetzt, mit dem die Effekte bei den Jugendlichen erfasst werden. Mit den Ergebnissen soll eine Eintragung des Programms in der Grünen Liste Prävention ermöglicht werden.
Studie zu Effekten und Wirkungen der Bildungsangebote in Jugendherbergen
Auftraggeber: Landesverbände Bayern, Baden-Württemberg, Unterweser-Ems und Westfalen-Lippe des Deutschen Jugendherbergswerks
Projektlaufzeit: seit 2023
Die Jugendherbergen in Deutschland bieten ein vielfältiges Bildungsprogramm an. Dieses richtet sich an Kinder- und Jugendgruppen sowie an Schulen, die das Bildungsangebot im Rahmen von Klassenaufenthalten buchen können. Die pädagogischen Programme haben neben der Vermittlung von Wissen auch das Ziel, soziale und emotionale Kompetenzen sowie die Selbstwirksamkeit und Zusammengehörigkeit der Gruppen zu stärken.
Die Studie geht der Fragestellung nach, welche Effekte und Wirkungen Bildungsangebote in Jugendherbergen erzielen. Dabei werden Angebote untersucht, die sich an Schulklassen richten und einen pädagogischen Programmanteil von mind. 50 % gemessen an der Gesamtaufenthaltsdauer haben.
In einem ersten Schritt werden in den beteiligten Landesverbänden sog. Wirkmodelle für die Bildungsangebote entwickelt. In den Wirkmodellen wird festgehalten, welche Wirkungen auf Ebene der Zielgruppe (Outcomes) und auf Ebene der Gesellschaft (Impacts) mit den Bildungsangeboten erzielt werden sollen. Weiterhin wird darin festgehalten, welche Kontextfaktoren einen Einfluss auf die Bildungsangebote und/oder auf das Erzielen der Wirkungen haben. Die einzelnen Wirkmodelle werden danach zu einem allgemeinen Wirkmodell für Bildungsangebote an Jugendherbergen zusammengeführt.
Aufbauend auf dem Wirkmodell wird ein standardisierter Fragebogen entwickelt, mit dem Veränderungen bei den Teilnehmer:innen, die Bildungsangebote in Anspruch nehmen, erfasst werden können. Hierzu wird im Rahmen der Studie ein längsschnittliches Forschungsdesign realisiert, bei dem die Datenerhebung zu Beginn und Ende des Aufenthaltes in der Jugendherberge durchgeführt wird. Die Ergebnisse werden regelmäßig ausgewertet und geprüft, welche Veränderungen sich bei den Zielgruppen zeigen. Mithilfe der Methode der Wirkungsplausibilisierung wird dann in einem Interpretationsworkshop erarbeitet, welchen Anteil die Bildungsangebote der Jugendherbergen an den gefundenen Veränderungen haben und welche weiteren Einflussfaktoren es gibt.
Im Rahmen einer qualitativen Vertiefung werden durch Interviews und Fokusgruppen mögliche Wirkmechanismen erforscht und tiefergehend dargestellt, wie die Angebote erlebt werden und wie die Wirkungen zustande kommen.
An der Studie sind die Landesverbände Bayern, Baden-Württemberg, Unterweser-Ems und Westfalen-Lippe des Deutschen Jugendherbergswerks beteiligt. Die Landesverbände sind als Träger der Jugendherbergen gemeinnützig und anerkannte Träger der freien Jugendhilfe. Mit der Durchführung der Studie und der wissenschaftlichen Begleitung wurde das Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg beauftragt. Finanziert wird die Studie mit Mitteln der Stiftung Deutsches Jugendherbergswerk (DJH Stiftung) und der beteiligten DJH Landesverbände.
Wissenschaftliche Begleitung des Projektes „Ankerwirkmodell Suchtberatung“
Auftraggeber: Deutsche Gesellschaft für Soziale Arbeit in der Suchthilfe (Förderung durch das Bundesministerium für Gesundheit)
Projektlaufzeit: 2022 – 2023
Die Deutsche Gesellschaft für Soziale Arbeit in der Suchthilfe (DG-SAS) führte mit einer Förderung des Bundesministeriums für Gesundheit das Projekt „Ankerwirkmodell Suchtberatung“ durch. Das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg begleitete das Projekt wissenschaftlich.
Das Ankerwirkmodell wurde mit Fachkräften aus der Suchtberatung in Workshops erarbeitet. Das Kompetenzzentrum hat die Workshops vorbereit, moderiert und dokumentiert. In den Workshops wurde ein Entwurf des zukünftigen Ankerwirkmodells erarbeitet. Weiterhin wurden Interviews mit Nutzer*innen der Suchtberatung durchgeführt, um deren Perspektive im Hinblick auf den erlebten Nutzen im Modell abzubilden.
Um das entwickelte Ankerwirkmodell zu validieren, wurde eine Online-Befragung unter Fachkräften und Trägern der Suchthilfe durchgeführt. Das erarbeitete Ankerwirkmodell ist frei zugänglich veröffentlicht und kann als Grundlage für die Erarbeitung von einrichtungsspezifischen Wirkmodellen sowie von Wirkungsanalysen dienen. Nähere Informationen über das Thema Ankerwirkmodelle erhalten Sie hier.
Wissenschaftliche Begleitung des Projektes „Frühe Hilfen qualitätvoll gestalten“ im Themenfeld Wirkungsorientierung
Auftraggeber: Nationales Zentrum Frühe Hilfen (NZFH) in der Bundeszentrale für gesundheitliche Aufklärung
Projektlaufzeit: 2022 – 2025
Das Nationale Zentrum Frühe Hilfen begleitet neun Kommunen mit dem Projekt „Frühe Hilfen qualitätvoll gestalten“. Drei Kommunen widmen sich dabei dem Themenfeld Wirkungsorientierung. Während der Projektlaufzeit sollen die Kommunen wirkungsorientierte Arbeitsweisen kennenlernen und in einem Bereich der Frühen Hilfen vor Ort umsetzen.
Das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit erstellt während der Projektlaufzeit begleitende Materialien für die Kommunen und führt, gemeinsam mit dem Nationalen Zentrum Frühe Hilfen, Workshops in den Kommunen durch. Weiterhin findet eine fachliche Beteiligung an den jährlichen interkommunalen Austauschrunden statt und die Kommunen sowie das Team des Nationalen Zentrums Frühe Hilfen können eine Beratung zum Thema Wirkungsorientierung und Wirkungsanalyse in Anspruch nehmen. Die erarbeiteten Materialien werden vom NZFH veröffentlicht.
Wirkungsevaluation einer inklusiven Wohngruppe für Kinder und Jugendliche
Auftraggeber: AWO Kinder, Jugend & Familie Weser-Ems GmbH
Projektlaufzeit: seit 2022
Die AWO Kinder, Jugend & Familie Weser-Ems GmbH hat eine inklusive Wohngruppe für Kinder und Jugendliche gegründet. Ziel des Vorhabens ist es, im Angebot Kinder und Jugendliche mit Hilfebedarfen in der Kinder- und Jugendhilfe sowie Kinder und Jugendliche mit therapeutischem Bedarf gemeinsam zu betreuen.
Die Wohngruppe wird im Rahmen einer Wirkungsevaluation wissenschaftliche begleitet. Ziel der Evaluation ist es, die Wirkungen des Angebotes zu erfassen, aber auch Anhaltspun
kte für mögliche Weiterentwicklungen des inklusiven Wohngruppenkonzeptes zu erhalten.
Das Vorgehen im Rahmen der Wirkungsevaluation orientiert sich am Wirkungsradar. Am Anfang wird zusammen mit den Fachkräften ein Wirkmodell für das neue Angebot erstellt. Dieses dient als Grundlage für ein wirkungsorientiertes Monitoring, das entwickelt und im Angebot implementiert wird. Weiterhin ist geplant, im Rahmen der Datenerhebung auch zwei Vergleichsgruppen zu untersuchen: einmal Kinder und Jugendliche, die ein Angebot der Kinder- und Jugendhilfe in Anspruch nehmen und zusätzlichen therapeutischen Bedarf ambulant erhalten, und einmal Kinder und Jugendlichen, die nur einen therapeutischen Bedarf haben.
Neben der Erbringung des Wirknachweises sollen im Rahmen der Evaluation auch die dahinterstehenden Wirkmechanismen erfasst werden.
Seminare „Wirkung und Wirksamkeit in der Eingliederungshilfe“ für die örtlichen Träger der Eingliederungshilfe in Schleswig-Holstein
Auftraggeber: Ministerium für Soziales, Gesundheit, Jugend, Familie und Senioren des Landes Schleswig-Holstein
Projektlaufzeit: 2022
Mit der Einführung des Bundesteilhabegesetzes (BTHG) wurden die Begrifflichkeiten Wirkung und Wirksamkeit sowie eine Wirkungskontrolle rechtlich festgeschrieben. Um Theorien zu vermitteln und aufzuzeigen, wie man zu Wirkungsindikatoren kommt, wie eine Wirkungsanalyse in der Praxis umgesetzt wird und wie eine darauf aufbauende Fachberatung aussehen kann, konzeptionierte das Kompetenzzentrum ein eineinhalb tägiges Seminar. Dieses wird vor Ort in Kiel an insgesamt zwölf Terminen durchgeführt. Teilnehmende sind die Mitarbeitenden (Fach- und Führungskräften) aus den Kreisen und kreisfreien Städten, die im Bereich der Eingliederungshilfe tätig sind.
Forschungs- und Entwicklungsprojekt „Wirkungen der Eingliederungshilfen im Blick“
Auftraggeber: Kooperationsprojekt mit mittelfränkischen Einrichtungen der Lebenshilfe und der Lebenshilfe Neumarkt
Projektlaufzeit: seit 2020
Wie können Wirkungen und Effekte in der Eingliederungshilfe zuverlässig erfasst werden? Dieser Frage geht das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit gemeinsam mit mittelfränkischen Einrichtungen der Lebenshilfe und der Lebenshilfe Neumarkt im Rahmen eines gemeinsamen Forschungs- und Entwicklungsprojektes nach. Untersucht werden der Berufsbildungsbereich der Werkstätten für Menschen mit Behinderung (BBB) sowie der Bereich Tagesbetreuung für erwachsene Menschen mit Behinderung nach dem Erwerbsleben (T-ENE). Im Rahmen des Projektes kommen die verschiedenen Schritte des Wirkungsradars zur Anwendung. Zudem sollen in dem Projekt Methoden erarbeitet werden, mit denen Fachkräften regelmäßige Daten aus einem wirkungsorientierten Monitoring interpretieren und Impulse für die eigene fachliche Arbeit ableiten können.
Das Projekt wurde unter anderem beim Forum ‚Forschung, Entwicklung, Transfer‘ der Evangelischen Hochschule Nürnberg vorgestellt. Die Aufzeichnung ist auf dem EVHN-Youtube-Kanal abrufbar.
Entwicklung eines Wirkmodells für das Arbeitsfeld des Fachteams Sprache im Amt für Kinder, Jugendliche und Familie Nürnberg
Auftraggeber: Amt für Kinder, Jugendliche und Familie der Stadt Nürnberg
Projektlaufzeit: 2022
In einer vierteiligen Workshopreihe wurde zusammen mit den Fachkräften ein Wirkmodell für das Arbeitsfeld des Fachteams Sprache entwickelt. Zunächst wurde im ersten Workshop ein Problembaum erarbeitet, bei dem das zentrale zu lösende Problem identifiziert sowie die Auswirkungen und Ursachen dargestellt wurden. Im zweiten Workshop wurde der Problembaum in einen Zielbaum überführt, bevor im dritten Workshop daraus ein Wirkmodell erarbeitet wurde. Im Wirkmodell wurden neben den Aktivitäten, Outputs und Outcomes auch wichtige Kontextfaktoren dargestellt und die Outputs und Outcomes für die zuvor definierten drei Zielgruppen des Angebotes – Kinder, Pädagoginnen und Pädagogen, Eltern – definiert. Im abschließenden letzten Workshop wurden Überlegungen zu ersten Indikatoren angestellt, mit denen die definierten Wirkungen erfasst werden können.
Quantitative Wirkungsanalyse im BMBF-Verbundprojekt „Entwicklung und Implementierung eines intelligenten Assistenzsystems für die Hochschulbildung (HAnS)“
Fördergeber: Bundesministerium für Bildung und Forschung
Projektlaufzeit: 2021 – 2025
Ein Verbund von neun Hochschulen für angewandte Wissenschaften unter Leitung der Technischen Hochschule Nürnberg – Georg Simon Ohm entwickelt im Projekt „HAnS“ ein intelligentes Hochschul-Assistenz-System, das Lehr- und Lernmaterialien unterschiedlicher Fächer im Audio- und Videoformat auf einer Learning-Experience-Plattform sammelt. Die Materialien sollen mithilfe von Spracherkennung für weitere Anwendungen im Bereich der Künstlichen Intelligenz (KI) aufbereitet werden. Das Lehrmaterial wird somit durchsuchbar gemacht und automatisiert nach Kriterien wie Fachgebiet, Sprache oder erforderlichen Vorkenntnissen zusammengestellt. Darauf aufbauend wird ein KI-Tutor entwickelt, der anhand vorgegebener Muster automatisiert Übungsaufgaben und Lernzielkontrollen generiert. Der Prozess der technischen Entwicklung wird dabei von den Projektpartnern interdisziplinär begleitet und kontinuierlich überprüft.
Das Kompetenzzentrum übernimmt innerhalb des Verbundprojektes das Arbeitspaket der quantitativen Wirkungsanalyse. Im Rahmen dieser Evaluation soll erforscht werden, welche Wirkungen durch das intelligente Hochschul-Assistenz-System bei den Studierenden und den Dozent*innen entsteht. Hierzu wird am Anfang des Projektes ein Wirkmodell entwickelt, das die Grundlage für ein quasi-experimentelles Längsschnittdesign bildet. Über die komplette Projektlaufzeit finden Befragungen mit einer Maßnahmen- und einer Vergleichsgruppe statt. Die Ergebnisse fließen regelmäßig in die Entwicklung des Systems zurück.
Datenkompetenz und dateninformiertes Handeln
Fachliche Beratung und Prozessbegleitung bei der Auswahl und Erprobung eines CRM-Systems
Auftraggeber: AWO Bundesverband e. V.
Projektlaufzeit: 2024
Der AWO Bundesverband betreibt eine zentrale Mitglieder- und Adressverwaltung (ZMAV). Das Projekt „AWO digital Lab“ hat das Ziel, die Digitalisierung innerhalb der Arbeiterwohlfahrt zu stärken. Im Rahmen dieses Projektes soll ein neues CRM-System für die zentrale Mitglieder- und Adressverwaltung erprobt werden, um datenbasiertes Arbeiten im Verband weiter zu entwickeln.
Das Kompetenzzentrum ‚Wirkungsorientierung in der Sozialen Arbeit‘ am Institut für Praxisforschung und Evaluation wurde mit der fachlichen Beratung und Prozessbegleitung bei der Auswahl und Erprobung des Systems beauftragt. Im Rahmen der Prozessbegleitung findet ein regelmäßiger Austausch mit dem AWO-Projektteam zu zuvor definierten Themen statt. Dabei werden u.a. die zur Auswahl stehenden Systeme bewertet und auch mögliche Hürden oder Risiken beim Einsatz identifiziert.
In einem Workshop-Format werden unter Beteiligung der Landes- und Bezirksverbände mögliche Anwendungsfälle generiert, die mit den Daten der ZMAV und dem neuen System realisiert werden könnten. Im Rahmen einer Priorisierung werden drei Anwendungsfälle ausgewählt, die dann tiefergehend bearbeitet und konkretisiert werden sollen.
Die Ergebnisse aus diesen Workshops werden in einer Konzeptsammlung aufbereitet. Außerdem unterstützt das Kompetenzzentrum bei der Erarbeitung von weiterem Transfer- und Schulungsmaterial, das dann vom AWO-Bundesverband innerhalb seiner Gliederungen veröffentlicht werden kann.