1. Fragestellungen und Untersuchungsdesign

Seit 2007 wird in Hamburg das TheaterSprachCamp durchgeführt, eine besondere Fördermaßnahme für Kinder mit ausgeprägtem Sprachförderbedarf¹. Für drei Wochen fahren in der zweiten Hälfte der Sommerferien die teilnehmenden Kinder in verschiedene Camps. Die Sprachförderung im TheaterSprachCamp (TSC) wird auf der Basis eines integrierten Konzepts der drei Bereiche Deutsch als Zweitsprache, Theaterpädagogik und Freizeitpädagogik durchgeführt. Ziel ist dabei, über das Schaffen von Lernsituationen während der Maßnahme die Sprachbildung der Kinder jeweils individuell zu unterstützen. Die Maßnahme richtet sich insbesondere an mehrsprachige Kinder, aber auch an Kinder, die Förderbedarf beispielsweise im Bereich Lesen haben (vgl. Neumann u.a. 2011). Eine Beschreibung des Projekts und der Theaterarbeit im TSC findet sich auch im Artikel von Wolfgang Sting in dieser Ausgabe (vgl. Sting 2012).

1.1. Fragestellungen

Das Hamburger TheaterSprachCamp wird seit seiner ersten Durchführung 2007 vom LIQ² evaluierend begleitet. Die Fragestellungen für die Evaluation beziehen sich auf folgende Bereiche:

• Die Umsetzbarkeit des besonderen Ansatzes in Form eines TheaterSprachCamps wird analysiert.

• die unmittelbare Wirksamkeit der Sprachförderung in Form des TheaterSprachCamps auf die Sprachleistungen und auf lernbezogene überfachliche Kompetenzen von Kindern mit und ohne mehrsprachigen Hintergrund wird analysiert.

• darüber hinaus werden längerfristige Auswirkungen des Trainings auf die Lernentwicklung der Kinder untersucht.

Für die Untersuchung dieser Fragestellungen werden unterschiedliche Instrumente eingesetzt, die in den folgenden Abschnitten genauer vorgestellt werden: Die unmittelbare Wirksamkeit der Sprachförderung sowie die Nachhaltigkeit der Wirkung werden mit verschiedenen Sprachtests überprüft (Abschnitt 2). Daneben werden Selbsteinschätzungsskalen (Abschnitt 3.1) sowie Einschätzungsskalen für Lehrkräfte (Abschnitt 3.2) eingesetzt, um die Wirkung des TheaterSprachCamps im Bereich der überfachlichen Kompetenzen zu evaluieren. Um die Frage der Umsetzbarkeit des besonderen Ansatzes des TheaterSprachCamps zu untersuchen, gibt es eine Befragung der Campbetreuer (Abschnitt 3.3).

Auf die Erfassung von Hintergrundmerkmalen in den Elternhäusern wird seit 2008 verzichtet. Nachdem die Analyse einer Elternbefragung für das erste TheaterSprachCamp 2007 gezeigt hat, dass die befragten Eltern ein sehr positives Gesamtbild des Camps und seiner Wirkung hatten, kann für die nachfolgenden TheaterSprachCamps von einer ähnlich großen Zustimmung der Eltern ausgegangen werden. Auch der soziokulturelle Hintergrund der Campkinder wird nicht erneut erhoben, da davon ausgegangen wird, dass er ähnlich gelagert ist wie im Jahr 2007: eine relativ große Bandbreite der soziokulturellen Familienbedingungen, jedoch mit einem deutlichen Schwerpunkt auf sozial schwachen Herkunftsfamilien.

1.2. Untersuchungsdesign

In der Evaluation der TheaterSprachCamps ist für jeden Campdurchgang ein Untersuchungsdesign mit drei Erhebungszeitpunkten zur Erfassung der Lernstände vorgesehen. Dabei werden sowohl Sprachtests als auch Fragebögen eingesetzt. Mit einer Vortestung unmittelbar vor dem Camp wird die Ausgangslage ermittelt, eine erste Nachtestung nach den Sommerferien zeigt, ob und in welchen Bereichen durch das Training im TheaterSprachCamp feststellbare Verbesserungen erzielt werden. Eine zweite Nachtestung am Ende des Schuljahres überprüft die Nachhaltigkeit dieser Veränderungen. Es werden zu diesen drei Zeitpunkten jeweils die Kinder getestet und befragt, die am Camp teilnehmen, sowie eine Kontrollgruppe. Zur Bildung der Kontrollgruppe werden die Lehrkräfte um die freiwillige Testung weiterer Kinder gebeten, die im Leistungsstand in etwa den ins Camp fahrenden Kindern vergleichbar waren. Die tatsächliche Kontrollgruppe wird dann im Paarverfahren anhand der vorliegenden Daten ausgewählt. Dabei wird jedem Campkind ein Kontrollkind mit gleichen oder annähernd gleichen Leistungen in der Ausgangstestung zugeordnet (Matched Samples: vgl. Bortz 2006, S. 527).

Die Befragung der Campbetreuer wird während der Camps organisiert. Tabelle 1 zeigt schematisch die Einsatzzeitpunkte der einzelnen Instrumente.

2. Evaluation

2.1. Sprachtests

Die Sprachtests überprüfen die Wirksamkeit der Sprachförderung im Camp sowie die Nachhaltigkeit festgestellter Effekte. In einer Vortestung wird bei den Campkindern und der Kontrollgruppe die Lernausgangslage erfasst, auf die der später erhobene Lernstand nach dem Training bezogen werden kann – einmal, um die Höhe des Lernzuwachses insgesamt abschätzen zu können, und vor allem, um einen Vergleich der Lernzuwächse in der Trainings- und Kontrollgruppe zu ermöglichen.

Die erste Nachtestung findet möglichst zeitnah nach dem Camp statt, um zu überprüfen, ob das Training einen nachweisbaren Erfolg im Hinblick auf die sprachlichen Kompetenzen hat, bevor weitere Bedingungen (in Elternhaus und Schule) den erneuten Lernstand wesentlich beeinflussen können. Ein Einfluss auf die Testergebnisse durch einfaches Memorieren der Antworten kann ausgeschlossen werden, da zwischen Vor- und Nachtest mindestens 10 Wochen liegen und die Aufgaben nicht besprochen werden.

Inwieweit das Training auch überdauernde Wirkungen auf die sprachlichen Kompetenzen der Kinder hat, wird jeweils anhand der zweiten Nachtestung am Ende des auf das Camp folgenden Schuljahres ermittelt.

Beim Vortest und bei beiden Nachtests werden im Wesentlichen dieselben sprachlichen Tests verwendet, um einen unmittelbaren Bezug zwischen allen drei Zeitpunkten herstellen zu können. Allerdings wurden die Tests für den ersten Nachtest gekürzt, um den Umfang der Testungen und damit den Aufwand für die Lehrkräfte zu reduzieren: Die Tests aus der Vortestung und aus der zweiten Nachtestung können jeweils zur Sprachförderdiagnose im Rahmen des Hamburger Sprachförderkonzepts³ eingesetzt werden. Die erste Nachtestung dient dagegen ausschließlich der Evaluation des TheaterSprachCamps und war daher in den ersten Jahren am stärksten von Datenverlusten betroffen. Die Tests für die zweite Nachtestung sind an das Niveau der vierten Klasse angepasst, aber über Ankeritems mit den Tests der ersten beiden Erhebungen verknüpfbar.

Die Erfassung der einzelnen Sprachleistungen erfolgt mit verschiedenen Tests (vgl. Tabelle 1).

Stolperwörterlesetest

Der Stolperwörterlesetest (Metze 2002) misst Lesegeschwindigkeit und Lesesicherheit auf der Satzebene. In jeweils voneinander unabhängigen Sätzen muss das „Stolperwort“ – das Wort, das nicht in den Satz passt – identifiziert werden. Der Test für die dritte bzw. vierte Klasse umfasst 60 Sätze. Der Stolperwörterlesetest ist bundesweit normiert.

Abbildung 1 illustriert den Test mit einem Beispiel.

Rechtschreibtest

Anders als in der bildgestützten HSP (Hamburger Schreibprobe, May 2002) werden für den Rechtschreibtest im Rahmen der Evaluation des TheaterSprachCamps ganze Sätze diktiert, wobei das fehlende Wort in eine Lücke geschrieben wird. Die Verankerung mit der HSP bietet aber die Chance, bundesweite Normen für die verwendeten Items nutzen zu können. Aus dem längeren Gesamttest der HSP wird für die Evaluation des TheaterSprachCamps ein Auszug aus 30 bzw. 20 Items genutzt.

C-Test

Der C-Test besteht aus drei kurzen Lückentexten unterschiedlicher Themenbereiche, bei denen jeweils fehlende Wortteile ergänzt werden. Die Texte stammen aus Schulbüchern und sind somit authentische Texte. Die Lücken wurden nicht ausschließlich nach dem Standard-Zufallsverfahren (vgl. Grotjahn 2002), sondern auch nach inhaltlichen Kriterien gesetzt, sodass über das Füllen der Lücken stärker auf ein inhaltliches Verständnis geschlossen werden kann. Zudem wurden einige Lücken mit niedriger Trennschärfe verworfen und durch neue ersetzt. Der Test wird in der Screening-Funktion verwendet: Die Auswertung erfolgt über eine einfache richtig/falsch-Bewertung.⁴ In der Evaluation des TheaterSprachCamps wird einer der drei Texte als Ankertest zu jedem Testzeitpunkt verwendet, sodass die drei Erhebungen miteinander verglichen werden können. Für die verwendeten C-Tests liegen Hamburger Normen vor. Abbildung 2 illustriert den Test mit einem Beispiel.

Grammatik- und Wortschatz-Tests

Der Grammatik-Test und der Wortschatz-Test sind beide im Multiple-Choice-Format mit vier Antwortmöglichkeiten gestaltet. Da die Förderung im TheaterSprachCamp im Schwerpunkt über Verben gestaltet wird, wurden bei der Zusammenstellung der Grammatik- und Wortschatz-Tests viele Items benutzt, die Verben beinhalten. Abbildung 3 illustriert die Tests mit einem Beispiel aus dem Grammatik-Test.

Seit 2011 sind nur noch der C-Test, der Grammatik-Test und der Wortschatz-Test obligatorisch für die Evaluation. Für die anderen beiden Tests entscheiden jeweils die Lehrkräfte, ob sie sie mit ihren Schülern durchführen, um eine umfassendere Diagnose des Sprachstands zu erhalten.

2.2. Testergebnisse

Ergebnisse der Sprachtests nach der ersten Nachtestung

Um die Veränderungen der Testwerte auf einem einheitlichen Maßstab darstellen zu können, wurden die Testergebnisse der Vor- und Nachtests z-transformiert⁵. Anschließend wurden Werte für den Lernzuwachs gebildet, indem das Ergebnis der Vortestung (z-Test1) vom Ergebnis des Nachtests (z-Test2) abgezogen wurde:

Lernzuwachs = z-Test2 – z-Test1

Fällt diese Differenz positiv aus, dann ist der Lernzuwachs gegenüber der Lernausgangslage – bezogen auf alle an beiden Testungen beteiligten Kindern – vergleichsweise hoch, ergibt die Differenz ein negatives Ergebnis, dann ist der Lernzuwachs relativ niedrig.

Die Förderschwerpunkte im sprachlichen Bereich liegen auf der Grammatik (speziell auf der Grammatik des Verbs) einerseits, andererseits auf der Förderung der Lesemotivation und des Leseverstehens – nicht aber der Lesegeschwindigkeit – und generell auf der Wortschatzarbeit. Deshalb dienten der Rechtschreib- und der Stolperwörterlesetest zunächst als „Dummytests“. Erwartet wurde im Vergleich der Testergebnisse der Ausgangslage mit denen der ersten Nachtestung ein Muster, in dem sich höhere Lernzuwächse der Campkinder gegenüber der Kontrollgruppe im C-Test Deutsch, im Grammatik-Test und/oder im Wortschatz-Test zeigen, während sich die Vergleichsgruppen im Lernzuwachs in der Rechtschreibung und in der Lesegeschwindigkeit nicht unterscheiden. Seit 2007 zeigt sich in den Evaluationsergebnissen erwartungsgemäß dieses Muster: Die im Camp geförderten Kinder erzielen regelmäßig in einem oder in mehreren der erwarteten Bereiche signifikant höhere Lernzuwächse als die Kontrollgruppe. Tabelle 2 zeigt als Beispiel die Ergebnisse der Evaluation des TheaterSprachCamps 2010.

Da die beiden Gruppen sich in ihrer Ausgangsleistung nicht signifikant unterscheiden, zeigen die Vergleiche der mittleren Lernzuwachswerte die unmittelbaren Effekte der Förderung im TheaterSprachCamp auf die erfassten sprachlichen Kompetenzen. Die Werte in der Spalte Effektstärke zeigt das relative Ausmaß der Unterschiede – bezogen auf die gemeinsame Streuung der Testwertedifferenzen. Die Spalte Signifikanzniveau gibt an, inwieweit die Mittelwertunterschiede statistisch signifikant sind. Dabei ergeben sich nennenswerte Effektstärken bei den Werten für den Wortschatz und für die Rechtschreibung – allerdings mit gegenläufigen Tendenzen.

Abbildung 4 verdeutlicht grafisch die Unterschiede im Lernzuwachs von Camp- und Kontrollkindern für die Beispielerhebung 2010.

Über alle Sprachtests hinweg ergeben sich im Gruppenvergleich leichte Vorteile für die Campkinder: Ihr Lernzuwachs ist insgesamt höher als der der Kontrollkinder (vgl. Tabelle 2, letzte Zeile und Abb. 4 rechts: “Sprachtests gesamt”). Für das Camp 2010 zeigen sich spezifische Trainingseffekte im Testbereich Wortschatz, wo sich schon in den Jahren 2008 und 2009 Hinweise auf relativ große Campwirkungen zeigten. Der Trainingseffekt in diesem Test ist wieder statistisch signifikant (vgl. Tabelle 2; Irrtumswahrscheinlichkeit: 2 Prozent). Ein etwas höherer Wert für den Lernzuwachs der Campkinder ist auch in der Grammatik feststellbar, er ist allerdings nicht signifikant.

Umgekehrt ergibt sich im Mittel ein etwas höherer Wert für den Lernzuwachs der Kontrollgruppe im C-Test, der Unterschied ist allerdings ebenfalls statistisch nicht signifikant. Dagegen zeigt sich im Unterschied zu anderen Jahren ein signifikant höherer Wert der Kontrollgruppe für den Lernzuwachs in der Rechtschreibung. Im Vergleich zu den gegenläufigen Unterschieden bei Grammatik und Wortschatz spricht der relative Vorteil der Kontrollgruppe in der Rechtschreibung aber ebenfalls für eine spezifische Wirkung der Förderung im TheaterSprachCamp, da Rechtschreibung nicht Teil des Förderkonzepts ist.

Die Ergebnisse der Evaluation bestätigen über die Jahre den Wortschatz als denjenigen sprachlichen Kompetenzbereich, in dem die Kinder messbar am stärksten von der Förderung im TheaterSprachCamp profitieren.

Nachdem die Spezifität von Wirkungen in den erwarteten Bereichen auf diese Weise mehrere Jahre hintereinander gezeigt wurde, wird zugunsten einer schlankeren Evaluation seit 2010 auf den obligatorischen Einsatz des Rechtschreib- und des Stolperwörtertests verzichtet.

Ergebnisse der Sprachtests nach der zweiten Nachtestung

In der zweiten Nachtestung werden Tests für die vierte Jahrgangsstufe verwendet, die über Items, die zu allen Zeitpunkten eingesetzt werden (Ankeritems) mit den Tests der vorherigen Erhebungen verknüpfbar sind. Die Ergebnisse der Evaluation zeigen hier regelmäßig, dass die in der ersten Nachtestung gefundenen Campwirkungen sich über das auf das Camp folgende Schuljahr verflüchtigen. Die Leistungen der Campkinder und ihrer Kontrollgruppe gleichen sich über das Schuljahr wieder aneinander an, sodass der in der ersten Nachtestung gefundene Vorteil der Förderung im TheaterSprachCamp wieder verloren geht. In den Evaluationsergebnissen des TheaterSprachCamps 2010 zeigten sich nach einem Jahr sogar leichte Nachteile für die ehemaligen Campkinder (vgl. Tabelle 3b). Hier zeigt sich ein Nachhaltigkeitsproblem, das allerdings aufgrund der Kürze der Maßnahme nicht überraschen kann.⁶ Die Anschlussförderung in der Schule ist zwar für alle Campkinder sichergestellt, diese Förderung erhalten aber selbstverständlich auch die ebenso schwachen Kontrollgruppenkinder.

Während die beiden Gruppen sich in ihrer Ausgangsleistung nicht signifikant unterschieden und nach dem Training im Camp die dort geförderten Kinder leichte Vorteile zeigten (vgl. Tabelle 2), wird im Vergleich der mittleren Lernzuwachswerte über das Schuljahr 2010/11 deutlich, dass sich in den erfassten sprachlichen Kompetenzen kein langfristiger Vorteil aus der Teilnahme am TheaterSprachCamp ergibt (Tabelle 3a). Der Vergleich der späteren Nachtestung mit den ursprünglichen Ausgangswerten (Tabelle 3b) zeigt sogar ein langfristig etwas schwächeres Abschneiden der Campkinder.

Im Schuljahr 2012/13 sollen aufgrund dieser Ergebnisse an Pilotstandorten TheaterSprachKurse stattfinden, die eine Kontinuität der Förderung mit den Methoden des TheaterSprachCamps und damit auch die Nachhaltigkeit des Fördererfolgs sicherstellen sollen.

2.3. Einschätzungsbögen und Fragebögen

Bereits seit der ersten Durchführung des TheaterSprachCamps berichten sowohl die Campbetreuer als auch die beteiligten Lehrkräfte immer wieder von positiven Veränderungen der Motivation, der Selbstwirksamkeit und anderer überfachlicher Kompetenzen der am TheaterSprachCamp teilnehmenden Kinder. Daher wurde für die Evaluation des TheaterSprachCamps 2010 erstmals der vom LIQ neu entwickelte Bogen zur Einschätzung überfachlicher Kompetenzen (ÜFK) eingesetzt. Dieses Instrument liegt als Lehrerbogen für die Fremdeinschätzung und analog als Schülerbogen für die Selbsteinschätzung vor. Die drei Bereiche überfachlicher Kompetenzen (Selbstkompetenzen / Selbstkonzept und Motivation, Sozial-Kommunikative Kompetenzen und Lernmethodische Kompetenzen) werden in drei Skalen von ursprünglich jeweils acht Items erfasst. Die Einschätzung erfolgt anhand einer fünfstufigen Skala, bei der die mittlere Stufe jeweils für eine altersgemäß normale Ausprägung der jeweiligen Kompetenz steht. Für die statistischen Berechnungen wurden die Skalenstufen mit den Werten 1 (sehr schwach) bis 5 (sehr stark) kodiert (vgl. Abb. 5).

Selbsteinschätzungen der Kinder

Der Selbsteinschätzungsbogen für überfachliche Kompetenzen trat im Jahr 2010 an die Stelle des in den Vorjahren verwendeten Schülerfragebogens. Die Durchführung erfolgte Item für Item mit Beispielen – angeleitet durch die Lehrkräfte, damit nicht Lese- oder Verständnisschwierigkeiten die Selbsteinschätzung behindern.

Für den Einsatz im Rahmen der Evaluation des TheaterSprachCamps 2010 wurden die Formulierungen in den Selbsteinschätzungsbögen für Drittklässler vereinfacht und die Anzahl der Items insgesamt reduziert. Ergänzt wurde der Einschätzungsbogen um einige Items aus dem Bereich Sachkompetenz Sprache (Deutsch und Herkunftssprache).

Der Vergleich der beiden Gruppen weist zwar in der Ausgangslage einige interessante Unterschiede auf, die auf ein schwächeres Selbstbild der Campkinder hindeuten, insbesondere die – trotz annähernd gleicher Leistungen in den sprachlichen Tests der Ausgangstestung – deutlich schwächere Selbsteinschätzung der Campkinder in der Sprachkompetenz ist hervorzuheben. Im Vergleich der Werte der Ausgangslage mit denen der ersten Nacherhebung zeigt sich wiederum ein Rückgang der Werte der Campkinder. Inwieweit die relativ schwache Einschätzung sowohl ihrer überfachlichen Kompetenzen als auch ihrer Sprachkompetenz bei den Campkindern mit dem Selbstbild als besonders gefördertes Kind zusammenhängt, ist unklar. Eine andere Erklärung für den Rückgang der Werte der Campkinder könnte darin liegen, dass im TheaterSprachCamp auch die Reflexionsfähigkeit und der Umgang mit Einschätzungsbögen trainiert werden. Die Kinder werden dadurch möglicherweise zu einer eher realistischen und selbstkritischen Einschätzung ihrer Kompetenzen geführt. Allerdings führt das zu teilweise paradoxen Ergebnissen sowohl in der Selbsteinschätzung durch die Schüler wie auch im Zusammenhang mit den Einschätzungen durch die Lehrkräfte, die zum Teil genau entgegengesetzte Ergebnisse lieferten (vgl. 2.2.2).

Auch in der dritten Erhebung der Evaluation des TheaterSprachCamps 2010 wurde wieder der Selbsteinschätzungsbogen zu Sprachkompetenz und überfachlichen Kompetenzen eingesetzt, allerdings nach den Erfahrungen der ersten beiden Erhebungen deutlich gekürzt. Im Längsschnitt interessiert in diesem Zusammenhang insbesondere die Frage, ob das deutlich negativer getönte Selbstbild der Campkinder, wie es sich in den ersten beiden Erhebungszeitpunkten gezeigt hatte, bestehen bleibt, oder ob sich die Vergleichsgruppen annähern.

Die Werte für die Selbsteinschätzung sprachlicher Kompetenzen liegen für beide Gruppen bei der Nachtestung wieder ungefähr bei den Ausgangswerten vor dem Camp. Das heißt, die ehemaligen Campkinder haben in Hinblick auf ihre sprachlichen Kompetenzen ein unverändert schwaches Selbstbild.

Auch in der Selbsteinschätzung der überfachlichen Kompetenzen bleiben die Unterschiede zwischen Camp- und Kontrollkindern bestehen: Die durchschnittlichen Veränderungswerte beider Gruppen liegen bis auf wenige Ausnahmen relativ eng beieinander. Ein deutlicher Unterschied in der Entwicklung der Durchschnittswerte zeigt sich allerdings in den Selbsteinschätzungen zur Leistungsmotivation, die bei den Campkindern über den gesamten Zeitraum der Untersuchung absinken, während die Werte der Kontrollgruppe ansteigen.

Die Ergebnisse der Veränderungen bei der Selbsteinschätzung der überfachlichen Kompetenzen werfen die Frage nach der Eignung des Instruments im Rahmen der Evaluation des TheaterSprachCamps auf: Aus den Evaluationen der vergangenen Campdurchgänge lagen zahlreiche Berichte sowohl der Campbetreuer als auch der beteiligten Lehrkräfte zur Steigerung von überfachlichen Kompetenzen – insbesondere des Selbstwertgefühls und der Motivation – bei den trainierten Kindern vor. Daher war der Einsatz der Selbst- und Fremdeinschätzungsbögen zu überfachlichen Kompetenzen mit dem Ziel verbunden, diese Berichte zu objektivieren. Es scheint jedoch, dass diese Form der Selbsteinschätzung die Kinder in diesem Alter überfordert: Eine Selbsteinschätzung übergreifender nicht-fachgebundener Kompetenzen verlangt einen relativ hohen Grad an Reflexionsfähigkeit, der bei vielen Dritt- und Viertklässlern noch nicht gegeben ist.

Aufgrund dieser Überlegungen wurde das Instrument für die Evaluation des TheaterSprachCamps 2011 nicht weiter eingesetzt, sondern auf einen vereinfachten Schülerfragebogen zurückgegriffen.

Einschätzung der Lehrkräfte

Auf denselben Skalen wie die Kinder sollten auch die Lehrkräfte für den Campdurchgang 2010 die überfachlichen Kompetenzen ihrer Schüler einschätzen. Während die Anzahl der Items für die Selbsteinschätzungsbögen der Schüler gekürzt worden waren, hatten die Lehrkräfte jeweils die vollständigen Bögen bekommen. Die Aussagen, die über die von Lehrkräften beobachtete Wirkung des TheaterSprachCamps 2010 auf überfachliche Kompetenzen der geförderten Kinder gemacht werden können, sind allerdings begrenzt. Es können zwar Trends festgestellt werden, aufgrund einer relativ geringen Anzahl an eingeschätzten Kontrollkindern insbesondere in der zweiten Nachtestung aber können Effekte nicht zuverlässig nachgewiesen werden.

Bei den mittleren Differenzwerten, mit denen die Veränderung der Einschätzungen vor und nach den Sommerferien bestimmt wurden, ergeben sich in der Regel Werte um Null, in den meisten Bereichen allerdings mit einer leichten Tendenz zur positiveren Einschätzung der Campkinder. So sehen die Lehrkräfte in drei der vier Kompetenzen der Skala Selbstkonzept deutliche Verbesserungen der Campkinder. Der Vergleich der motivationalen Items fällt ebenfalls zum Vorteil der Campkinder aus, durch einen Anstieg auch der Mittelwerte der Kontrollgruppe aber nicht im Bereich statistischer Signifikanz. In der Skala Selbstkonzept und Motivation profitieren die Campkinder in den Augen ihrer Lehrkräfte deutlich von den Erfahrungen im Camp.

In den sozialen Kompetenzen sehen die Lehrkräfte dagegen leichte Vorteile bei den Kontrollgruppenkindern, jeweils aber wiederum außerhalb des Bereichs statistischer Signifikanz. Dieses Ergebnis steht im Gegensatz zur Einschätzung der Campbetreuer, die den Campkindern – nach einer solchen Ferienmaßnahme prinzipiell erwartbare – Steigerungen ihrer sozialen Kompetenzen bescheinigen.

Im Bereich der lernmethodischen Kompetenzen gibt es keine statistisch signifikanten Gruppenunterschiede in der Veränderung der Einschätzung der Lehrkräfte bei der Zweiterhebung nach dem Camp. Zwar fällt der durchschnittliche Mittelwert der Campkinder in der Konzentrationsfähigkeit höher aus als der der Kontrollkinder, die eher zur Förderung im Camp passenden Items Lernstrategien und Präsentationskompetenz⁷ bieten aber keinen signifikanten Anstieg.

Abbildung 6 zeigt diejenigen Bereiche, in denen sich die Campkinder aus der Sicht der Lehrkräfte deutlich von den Kontrollkindern unterscheiden. Zusätzlich werden die Werte zur Einschätzung der Leistungsmotivation einbezogen, die einen deutlichen Anstieg zu Beginn des Schuljahres für beide Gruppen zeigen und bei denen der Unterschied zwischen den Gruppen geringer ist als in anderen Items.

Insgesamt bestätigen die Ergebnisse der Analyse der Lehrerfragebögen zu überfachlichen Kompetenzen frühere Aussagen beteiligter Lehrkräfte und Campbetreuer, die nach den bisherigen TheaterSprachCamps einen Anstieg sowohl in der Motivation wie auch im Selbstbewusstsein der Campkinder beobachteten. Zudem wird den Campkindern – bezogen auf die Ausgangswerte vor dem Training und im Vergleich zu den Kontrollgruppenkindern – eine bessere Konzentrationsfähigkeit, eine verbesserte Fähigkeit, eine eigene Meinung vertreten zu können und eine optimistischere Einstellung in Bezug auf ihre schulischen Leistungen bescheinigt.

Angesichts der relativ geringen Fallzahlen in der Kontrollgruppe im Rücklauf der Lehrereinschätzungsbögen (N = 19) ist ein kontrastiver Gruppenvergleich für die zweite Nacherhebung nicht sinnvoll. Da aber für 90 Campkinder erneute Einschätzungen vorliegen, können die nach der ersten Nacherhebung aus den Einschätzungen der Lehrer abgeleiteten Campwirkungen in den sprachlichen und überfachlichen Kompetenzen auf ihre Nachhaltigkeit überprüft werden. Die beteiligten Lehrkräfte hatten unmittelbar nach dem Camp bei der Mehrheit der Campkinder positive Auswirkungen sowohl in den sprachlichen Kompetenzen als auch im Bereich Selbstkonzept und Motivation beobachtet.

In der dritten Erhebung schätzen die Lehrkräfte die sprachlichen und überfachlichen Kompetenzen der Campkinder noch höher ein, sodass diesbezüglich durchaus von Nachhaltigkeit gesprochen werden könnte.

Allerdings zeigt der Vergleich mit den (sehr wenigen) Kontrollgruppenkindern, bei denen die Lehrereinschätzung deutlich zurückhaltender ausfällt, dass die Lehrereinschätzungen nicht mit den Veränderungen in der Testleistung korrelieren. Offenbar wählen die Lehrkräfte für die Einschätzung der Kompetenzen ehemaliger Campkinder einen mehr wohlwollenden Maßstab als für die Kontrollgruppenkinder.

Der Einsatz des Instruments des Lehrereinschätzungsbogens konnte für die Evaluation des TheaterSprachCamps Ergebnisse objektivieren, die zuvor schon durch Berichte der beteiligten Campbetreuer und Lehrkräfte vermutet werden konnten. Die höheren positiven Veränderungen der im Camp geförderten Kinder insbesondere im Bereich des Selbstkonzepts werden in der Außenansicht durch die Lehrkräfte viel deutlicher als durch die vermutlich zu früh eingesetzten Selbsteinschätzungsbögen (vgl. Abschnitt 1.2).

Auf der anderen Seite zeigen sich in der Analyse der Einschätzungsbögen Unterschiede zwischen den Vergleichsgruppen, die auf der Basis der Leistungsdaten so nicht zu sehen sind: Die Campkinder werden von den Lehrkräften als diejenigen mit größerem Zuwachs in den sprachlichen und überfachlichen Kompetenzen eingeschätzt, zeigen selbst zugleich aber ein schwächeres Selbstbild und in der zweiten Nachtestung auch keinen höheren Lernzuwachs als ihre Kontrollgruppe.

Befragung der Campbetreuer

Um Informationen zur Qualifikation und zur Vorbereitung der Campbetreuer und über die Arbeit in den Camps zu erhalten, wird den Campbetreuern ein Fragebogen vorgelegt. Der Fragebogen für die Campbetreuer umfasst neben Angaben zum persönlichen Hintergrund Fragen zur Vorbereitung auf das Camp, zum didaktischen Material und zur Durchführung der TheaterSprachCamps. Die meisten Items im Fragebogen für Campbetreuer liegen den Befragten mit einer vierstufigen Skala vor. Abbildung 7 zeigt eine Beispielskala aus dem Fragebogen.