Helmut Kuwan und Yves Waschbüsch: „Die Auswirkungen der Weiterbildungstests bei Anbietern und Weiterbildungsinteressierten. Ergebnisse aktueller Forschungsprojekte“

Vortrag von Helmut Kuwan und Yves Waschbüsch, Helmut Kuwan – Sozialwissenschaftliche Forschung und Beratung München, auf der „Bilanztagung Bildungstests“ am 4. November 2005 in Berlin.

Hinweis: Dieser Vortrag wurde mit einer Präsentation illustriert, die wir Ihnen als pdf-Datei zum Download bereitgestellt haben. Bitte speichern Sie den pdf-Rechner auf Ihre Festplatte und öffnen Sie die Datei direkt aus dem Acrobat Reader. Dazu klicken Sie mit der rechten Maustaste auf den Link und wählen „Ziel speichern unter“ bzw. „Verknüpfung speichern unter“.

Download: Vortrag von Helmut Kuwan und Yves Waschbüsch
(pdf-Datei, 244 MB)
Download: Acrobat Reader

Helmut Kuwan: Wir freuen uns über die Gelegenheit, Ihnen heute einige empirische Ergebnisse zum Thema „Wirkungen von Weiterbildungstests auf die Weiterbildungslandschaft in Deutschland“ vorstellen zu können. Dies ist ein sehr umfassendes und facettenreiches Thema, dementsprechend braucht man auch einen empirischen Ansatz, der diesen Anforderungen Rechnung trägt. Sie sehen hier auf der Abbildung das Konzept, das wir für diese Studie entwickelt haben, und auch unsere Kooperationspartner. Wir haben als ersten Baustein eine repräsentative Bevölkerungsbefragung bei rund 1 800 Befragten, um die Nachfragersicht abzubilden. Sie wurde von TNS Infratest Sozialforschung durchgeführt. Wir haben einen weiteren Baustein, der eine Online-Befragung von Besuchern der Internetseiten zu Weiterbildungstests beinhaltet, und schließlich als dritten Punkt eine repräsentative Befragung von Weiterbildungsanbietern mit insgesamt etwa 1 500 Fragebögen in Kooperation mit dem Bundesinstitut für Berufsbildung.

Acht Anbieter in Fallstudien betrachtet

Mindestens ebenso wichtig, wenn auch mit deutlich kleineren Fallzahlen, ist der vierte Punkt. In den Fallstudien wurden zwar nur acht Anbieter betrachtet, aber hier ging es nicht um Quantitäten, sondern um die Frage, welche Prozesse bei Anbietern ausgelöst werden und an welchen Faktoren diese ansetzt, was also die entscheidenden Bedingungen für Veränderungen sind. Dafür haben wir eine Netzwerkbefragung durchgeführt, um die verschiedenen Perspektiven abzubilden: zum einen die Leitungsebene, zum anderen die Qualitätsbeauftragten und jeweils auch noch jemanden vom Bildungspersonal eines Trägers. In dem jeweiligen Themenfeld wurden immer getestete Anbieter und nicht-getestete Anbieter verglichen. Das ist also die empirische Basis der folgenden Ausführungen.

Intransparenter Weiterbildungsmarkt

Wir haben diese sehr vielfältigen Ergebnisse in Form von zentralen Thesen gebündelt.Die erste These ist die der Intransparenz des Weiterbildungsmarktes. Sie ist nicht ganz neu, neu aber ist die Aufgliederung in die einzelnen Facetten. Man sieht, dass die Mehrheit der Bevölkerung der Ansicht ist, zu wenig über Weiterbildung zu wissen. Da gibt es durchaus Unterschiede zwischen einzelnen Aspekten. Bei der Suche nach einem passenden Angebot ist es nicht ganz so gravierend wie beim Preis-Leistungs-Verhältnis. Auf jeden Fall wird durchgängig ein Bedarf nach mehr Informationen sichtbar. Angesichts der vorhandenen Strukturen überfordert die Auswahl von Angeboten in Eigeninitiative viele Personen.

Mehr Informationen über Weiterbildung

Der zweite Punkt ist nicht mit dem Transparenz-Thema gleich zu setzen. Es gibt Personen, die an mehr Informationen interessiert sind, obwohl sie sich gut informiert fühlen. Es gibt andere Personen, die sich schlecht informiert fühlen und trotzdem nicht mehr Informationen wünschen, weil sie eine Distanz zu Weiterbildung haben. Insofern ist das Interesse an Informationen nicht ganz so hoch wie die wahrgenommene Intransparenz. Dennoch ist ein erhebliches Interesse der Bevölkerung an mehr Informationen zu den jeweiligen Themen festzustellen.

Bedeutung für Verbraucher und Anbieter?

Jetzt kommen wir in einer ersten Annäherung zu der Frage „Als wie wichtig werden Weiterbildungstests angesehen und zwar sowohl von den Nachfragern als auch von den Anbietern?“ Eine eher knappe Mehrheit der Bevölkerung hält Weiterbildungstests für wichtig. Bei den Weiterbildungsanbietern gibt es eine andere Einschätzung. Da ist die Mehrheit der Ansicht, dass Weiterbildungstests eher nicht wichtig oder überhaupt nicht wichtig sind. Eine Sondergruppe sind natürlich die Personen, die sich die Online-Seiten zu Weiterbildungstests bei Stiftung Warentest ansehen. Das sind sozusagen fast schon die Apostel der Weiterbildungstests, da sie eine ganz starke Wertschätzung für dieses Instrument haben.

Reichweite noch ausbaufähig

Jetzt kommen wir zur Frage nach der Reichweite von Weiterbildungstests. Wir haben das Ergebnis so zusammengefasst, dass sowohl bei Nachfragern als auch bei Anbietern die Reichweite noch ausbaufähig ist. Zehn Prozent der Bevölkerung sagten, dass sie schon einmal Weiterbildungstests gelesen haben, bei den Anbietern ist es weniger als die Hälfte. Wenn man eine Interpretation dieser Zahlen versucht, die immer ein bisschen subjektiv gefärbt ist, dann sind wir der Ansicht, dass die 10 Prozent bezogen auf die Bevölkerung gar nicht so schlecht sind. Schließlich muss man berücksichtigen, dass das Berichtssystem Weiterbildung eine Teilnahmequote von 29 Prozent an beruflicher Weiterbildung ausweist und etwa die Hälfte der Teilnahmefälle nicht von den Teilnehmern selbst ausging, sondern aufgrund von betrieblicher Anordnung oder einem Anstoß von Vorgesetzten erfolgte. Da können sich diese 10 Prozent schon sehen lassen. Bedenklicher finden wir das andere Ergebnis, dass mehr als die Hälfte der Anbieter am Weiterbildungsmarktes noch keine Weiterbildungstests gelesen hat.

Darstellung der Ergebnisse

Als nächstes kommen wir zur Frage der Darstellung von Ergebnissen, z.B. in den „test“-Heften, für die es ja verschiedene Optionen gibt. So kann man einen Test eher verkürzt darstellen oder auch mit ausführlicheren Texten, was auch von der Materie abhängt. Deswegen haben wir die Alternative zugespitzt auf einen ausführlichen Vergleich ohne Noten und einen kurzen Vergleich mit Noten. Dabei gibt es kontroverse Interessenlagen. Kein klar erkennbares Profil, d.h. man kann hier keine Patentlösung anbieten. Jetzt kommen wir auf die Faktoren, die anbieterseitig zur Erklärung dieser Einschätzungen eine zentrale Rolle spielen.

Divergierende Vorstellungen über die Tests

Yves Waschbüsch: Wir wenden uns der Frage zu, wie viel Sie heute früh über die Weiterbildungstests gewusst haben, als Sie hier erschienen. Hätte man heute früh gefragt „Wie läuft denn das Ganze ab? Wer wird denn da getestet? Welche Formen nimmt das Ganze an?“, hätten mich die Antworten interessiert. Wir haben nämlich in den Fallstudien festgestellt, dass es eine Vielzahl an Vorstellungen gibt, die sich nicht unbedingt mit dem decken, was wir heute morgen gehört haben. Viele Weiterbildungsanbieter – wir reden jetzt über den qualitativen Teil der Untersuchungen, nicht über repräsentative Daten – wissen sehr wenig über Ziele, die methodische Anlage und Praxis der Weiterbildungstests. Um Ihnen das ein wenig plastischer vor Augen zu führen, sei noch mal darauf verwiesen, dass es ganz divergierende Vorstellungen von den Tests gibt. Es gibt die Idee, dass zum Beispiel nicht die Angebote, sondern die Anbieter getestet werden. Das führt natürlich zu heftigen Reaktionen. Ein kleines Zitat dazu: „Wenn die Stiftung Warentest Anbieter begutachtet, sich aber z.B. auf den Eindruck aus einem Standard-IT-Lehrgang verlässt, derjenige aber ein Top-Anbieter für Management-Trainings ist, gibt es ein krummes Urteil.“ Warum das einen solch erheblichen Effekt hat, lässt sich nachvollziehen, wenn ich Ihnen beispielsweise sage, dass einer der getesteten Anbieter einen riesigen Kunden verloren hat. Obwohl dieser Kunde thematisch etwas ganz anderes nachgefragt hatte, hatte er die Tests der Stiftung Warentest gelesen, wo ein Kurs dieses Anbieters schlecht bewertet wurde.

Vielfältige Ideen zur Umsetzung

Zweiter Mythos: Es gibt die Ansicht, Bildungstests seien so eine Art Zertifizierung mit Abprüfung formaler Kriterien, also ähnlich den Prozessqualitäten, die wir abbilden bei den ISO-Zertifizierungen etc. Zitat: „Sicher ist es gut, wenn jemand kein Geld mit so einer Zertifizierung verdient (man unterstellt, dass Zertifizierungen nach den ISO-Normen immer noch „Lizenzen zum Gelddrucken“ sind, Yves Waschbüsch) und deshalb neutral ist, aber was gute von schlechter Qualität unterscheidet, sind zum Beispiel der Trainer, die Atmosphäre, die individuelle Beratung.“ Dass also auch diese Aspekte der Durchführung mit in Betracht gezogen werden, ist dort teilweise nicht bekannt. Es gibt aber auch eine Vielfalt von Ideen darüber, wie diese Tests angelegt sind und wie sie umgesetzt werden. Es gibt zum Beispiel die Vorstellung, dass die Stiftung Warentest irgendwelche Lehrgänge oder Veranstaltungen auswählt und diese, ohne den Lehrgang gesehen zu haben, bewertet, indem sie Teilnehmer befragt.

Grundwissen über die Tests ist notwendig

Es gibt auch abenteuerliche Assoziationen dazu, wie die Weiterbildungsveranstaltungen ausgewählt werden. So hat ein Anbieter gemeint: „Stiftung Warentest hat irgendein „test“-Heft im Programm und man überlegt sich, welche schicke Weiterbildungsveranstaltung da gegebenenfalls in der Begutachtung noch passend abgedruckt werden könnte.“

Definiertes Ziel dieser Weiterbildungstests ist es ja nicht nur, die Transparenz für die Nachfrage der Endverbraucher zu erhöhen, sondern auch implizit die Qualität zu verbessern. Damit die Qualität im Sinne der Verbraucher verbessert wird, sind zweierlei Dinge notwendig. Das eine ist, dass es eines Grundwissens über die Basics dieser Tests bedarf, nur dann können sie ernst genommen werden. Wenn ich der Ansicht bin, irgendwelche Happyness-Sheets am Schluss der Veranstaltung sind die Basis dafür, nehme ich sie nicht ernst. Damit ich mich kritisch damit auseinandersetze, muss ich also diese Basics zumindest kennen. Der zweite Punkt ist, dass wenn ich den Eindruck habe, diese Tests kommen wie Deus ex Machina über mich und mein Angebot, empfinde ich mich nicht als Player in dem Spiel, sondern als ohnmächtigen Part. Und das genau ist kontraproduktiv, und deshalb beeinträchtigen diese Mythen die gewünschte Wirkung von Weiterbildung.

Kaum Einwände hinsichtlich der Messbarkeit von Qualität

Helmut Kuwan: Wir kommen zurück zu der Frage, warum die Weiterbildungsanbieter mehrheitlich diesem Instrument skeptisch gegenüber stehen. Eine mögliche Aussage aus der Anfangsdebatte über Bildungstests hätte lauten können: „Was hier getestet wird, ist im Grunde genommen nicht messbar.“ Hier hat sich die Einschätzung offensichtlich inzwischen doch etwas gewandelt. Wenn man sich die Grafik zu Messbarkeit von Qualitätsaspekten ansieht, ist bei allen hier aufgeführten Aspekten, selbst bei pädagogisch-didaktischen Prozessen, die Mehrheit der Anbieter der Ansicht, das sei als Qualitätsaspekt im Prinzip messbar. Da gibt es zwischen den Einzelaspekten natürlich noch einmal relativ große Bandbreiten. Zum Beispiel bezweifelt kaum jemand, dass die Qualität der Infrastruktur messbar ist. Insgesamt kann man das Fazit ziehen, dass die Diskussion zur Messbarkeit von Weiterbildungsqualität heute an einem anderen Punkt als vielleicht noch vor vier oder fünf Jahren steht.

Skepsis bei einigen Lernprodukten

Nächster Punkt: Wenn nicht bei einzelnen Qualitätsaspekten ein Messbarkeitsproblem besteht, gibt es dann vielleicht bestimmte Produkte oder Dienstleistungen, bei denen man das Gefühl hat, dass sie sich gar nicht oder nur sehr wenig für Weiterbildungstests eignen? Auch hier gibt es bei den meisten Formen aus Sicht der Anbieter keine prinzipiellen Einwände, aber wiederum starke Abstufungen zwischen einzelnen Aspekten. Die Messbarkeit der Qualität von Lehrmedien ist am unstrittigsten, ähnlich die von Datenbanken oder von E-Learning, das ja auch ein Sektor ist, der sich eher für Standardisierung eignet als andere, zumindest von den technologischen Plattformen her. Aber auch die Qualität von Präsenzlehrgängen hält eine Mehrheit der Anbieter für sehr gut oder gut messbar. Kontrovers wird es ab den etwas komplexeren Mischformen wie Blended-Learning, ein leichtes Übergewicht der Skeptiker existiert auch bei der Messbarkeit von Beratungsqualität. Aber alles in allem ist keine deutliche Skepsis zu erkennen, die sich darauf richtet, dass die Qualität bestimmter Weiterbildungsprodukte oder -dienstleistungen von Hause aus nicht messbar wäre.

Überregionale Maßnahmen leichter messbar

Yves Waschbüsch: Anbieter haben natürlich einen ganz anderen Blick auf den Markt. Zunächst ist unstrittig, dass überregionale Standardmaßnahmen, also alles, was wirklich abbildbar ist, leichter messbar ist. Schwierig ist es, wenn ich zum Beispiel ein Angebot aus dem Bayerischen Wald mit einem bundesweiten Angebot vergleiche, weil dort viele Kriterien eine Rolle spielen können, etwa die Regionalförderung oder andere Rahmenbedingungen, die ich möglicherweise nicht mit den Tests erfassen kann, deshalb gibt es da durchaus Fragezeichen. Auch beispielsweise die Frage des Preises. Ich kann eine Maßnahme im Bayerischen Wald oder in Mecklenburg-Vorpommern möglicherweise kostengünstiger anbieten als in Hamburg. Eventuell ist das dann ein entscheidendes Kriterium, das in den Tests in irgendeiner Form berücksichtigt wird – und da gäbe es dann Verzerrungen. Es gibt auch die Vorstellung, dass, wenn ich sehr innovative Angebote bereithalte, sie für die Tests deshalb nicht geeignet sind, weil ich möglicherweise nächstes Jahr diese Maßnahme schon wieder als veraltet betrachte. Sie wäre dann zwar innovativ, aber im Programm als eher punktuell anzusiedeln, also nicht geeignet für die Tests. Unstrittig dagegen ist die Lage der „Dauerbrenner“, also der Maßnahmen, die vielfach in der gleichen Weise angeboten werden. Unstrittig sind auch offene Angebote bzw. ordnungspolitisch gesteuerte Maßnahmen. Auch bei den Angeboten der Bundesagentur für Arbeit sind Tests durchaus vorstellbar. Dagegen machen Bildungstests für Maßnahmen, in denen ich maßgeschneidert Angebote für eine Firma stricke oder wo ich im Grunde genommen innerhalb eines Betriebes tätig bin, weniger Sinn. Unstrittig ist auch, dass sich Angebote für die individuelle Nachfrage, aber auch für kleinere Unternehmen möglicherweise als ideal für die Tests herausstellen. Schwierig ist es überall dort, wo es starke Beratungsanteile gibt, dort wo also der individuelle Nachfrager in den Blickpunkt tritt.

Konkrete Umsetzung der Tests wird kritisch diskutiert

Die konkrete Umsetzung der Tests wirft eine Menge Fragen auf und wird auch kritisch von Anbieterseite diskutiert. Bei diesem Punkt sind wir bei den Begründungsmustern der Unternehmen. Wenn der Nachfrager liest: „Stiftung Warentest, Qualitätsurteil sehr gut oder mangelhaft“, assoziiert er zunächst einmal das, was er von den Produktqualitätstests, etwa bei Waschmaschinen, kennt: nämlich ein „neutrales Eichmaß“ wie eine bestimmte Anzahl von Umdrehungen, Preis, Langlebigkeit, Bedienungsfreundlichkeit und andere Kriterien. Analog dazu geht der Nachfrager möglicherweise davon aus, dass auch bei Bildungsangeboten das jetzt die Kriterien sind, die tatsächlich eine Rolle spielen. Aber genau das ist aus Anbietersicht teilweise irreführend, weil beim Lernprozess zum Beispiel Aspekte wie Transferqualität eine Rolle spielen oder auch atmosphärische Faktoren, die in den Tests so möglicherweise nicht dargestellt würden. Dieser Neutralitätsanspruch wird kritisch gesehen.

Einige Anbieter bezweifeln Vergleichbarkeit

Es gibt auch die Gefahr, dass die Tests instrumentalisiert werden. Einzelne Anbieter haben berichtet, dass ihres Wissens nach eine Menge Beteiligte bei der Entwicklung von Kriterien oder der Fragebögen für die Anbieter eingebunden sind. Manche gehen davon aus, dass dort die Individualinteressen dieser Player, die zum Beispiel Vertreter von Anbietern oder Institutionen sind, mituntergebracht werden, das heißt also, dass der Neutralitätsanspruch durch das Verfahren der Tests gefährdet sein könnte. Auch diesen Punkt sollte man im Auge behalten. Ein ganz großes Problem – wir haben es eben schon im Kontext der Mythen rund um die Tests gesehen – ist das der Intransparenz, also der Frage, welche Kriterien denn eigentlich bei der Auswahl der zu testenden Angebote angelegt werden. Einige Anbieter bezweifeln, dass Vergleichbarkeit gewährleistet ist. Es geht nicht darum, dass jeder Einzelne berechenbar wissen möchte, komme ich jetzt in Weiterbildungstests dran oder nicht. Es sollte aber klar sein, dass nicht beliebig gesteuert wird und Vergleichbarkeit gesichert ist.

In Einzelfällen wurde auch davon berichtet, dass, falls diese Tests tatsächlich breit im Markt etabliert würden, dieses möglicherweise zu einer Verteuerung der Angebote führen könnte. Kleines Beispiel: Wenn die allgemeinen Geschäftsbedingungen darauf hin getestet werden, ob eine Maßnahme auch dann stattfindet, wenn sich weniger als acht Teilnehmer finden und der einzelne Anbieter bisher gesagt hat, dass er die Maßnahme dann platzen ließe, sie jetzt künftig aber trotzdem durchführt, könnte dies Preiserhöhungen zur Folge haben. Ein anderes Beispiel: Wenn ich im Vergleich sehe, dass meine Mitbewerber zu bestimmten Bedingungen anbieten und nach bestimmten Kriterien bewertet werden, könnte ich feststellen, dass ich viel zu billig bin.

Angemessene Testkriterien

Ganz interessant sind zwei weitere Aspekte: Diese Frage der Angemessenheit der angelegten Kriterien ist deshalb kritisch, weil ich als Blended-Learning- oder E-Learning Anbieter mit ganz kreativen Konzepten arbeite: Mein E-Learning-Angebot beinhaltet zum Beispiel, dass ich keine Struktur vorgebe, ohne Kapitelüberschriften arbeite, sondern genau das erarbeiten lasse. Jetzt kommt aber die Stiftung Warentest und prüft mein E-Learning-Angebot, möglicherweise nach formalen Kriterien, die meinem methodisch-didaktischen Anspruch gar nicht gerecht werden. Also gibt es auch hier ein kleines Fragezeichen. Dazu möchte ich Ihnen ein Zitat eines Anbieters vorstellen. „Was mich entnervt, ist, dass von den ganzen Tests noch keiner in Deutschland freundlicher geworden ist. Und das, genau das, ist ein Wesenskern von Qualität, der in einem solchen simplen formalen Konzept überhaupt nicht auszudrücken ist. Offenheit, Freundlichkeit, fühl` dich hier wohl und ernst genommen, das sind Grundpfeiler für erfolgreiches Lernen und für Qualität.“ Soviel als kleine Anregung noch mal aus Anbietersicht.

Stiftung genießt Vertrauensvorschuss

Helmut Kuwan: Wir kommen nun zu der Frage, wie die Institution Stiftung Warentest in diesem Kontext beurteilt wird. Hier ist ganz klar zu erkennen, dass die Stiftung Warentest einen sehr starken Vertrauensvorschuss genießt. Das überträgt sich auch auf den Weiterbildungsmarkt. Lässt man die Anbieter die Stiftung bewerten, bewegen sich alle bewerteten Eigenschaften mehrheitlich im positiven Bereich. Man sieht, dass die Institution auch einen Vertrauensbonus bei den Anbietern hat. Dies zeigt sich auch an den Einschätzungen zu allen Einzelpunkten. Es gibt überwiegend Zustimmung, sowohl zu dem Aspekt der Glaubwürdigkeit, als auch dazu, dass Ergebnisse sachgerecht aufbereitet oder die Kriterien im Wesentlichen angemessen sind. Die negativ gepolten Aussagen werden mehrheitlich abgelehnt. Nur eine Minderheit hält die Methoden für nicht angemessen. Genauso ist es bei der Einschätzung, dass Weiterbildungstests keine Orientierungshilfe seien. Man sieht also, es gibt einen gewissen Widerspruch zwischen der Einschätzung von Einzelaspekten, die überwiegend positiv ausfallen, und der anfangs zu erkennenden Skepsis auf der generellen Ebene.

Verbraucher schätzen Neutralität und Kompetenz

Yves Waschbüsch: Selbst diejenigen Anbieter, die kritisch nachfragen und sagen, dieses scheinbare Eichmaß für Qualität kann man doch gar nicht leisten, weil Transferqualität, die Verwertung für den Arbeitsmarkt etc. ja nicht abgeprüft werden; selbst die gehen trotzdem hin und sagen: Wenn man aus Nachfragersicht testen möchte, dann ist es in jedem Fall schon so, dass eine absolute Mehrzahl die Stiftung Warentest für den geeigneten Partner hält. Also auf der einen Seite wird immer wieder die Reputation der Stiftung und ihre Eignung als Veranstalterin neutraler Bildungstests diskutiert. Die Bekanntheit spielt eine ganz große Rolle, aber auch die Tatsache, dass man davon ausgeht, dass sie Erfahrung mit Tests hat, mit der Auswertung und damit, sich gegen die Vereinnahmung von irgendeiner Seite zu positionieren. Last but not least wiegt die Kompetenz aus Verbrauchersicht.

Schließlich und endlich steht da aber immer noch die Frage nach der Kompetenz für den Bildungsmarkt. Man unterstellt zwar, dass die Stiftung Warentest sicherlich nur hochkompetente Leute entsenden wird, aber man hat auch Fragen. Wie ist denn das, wenn die sich tatsächlich Expertise auf dem Markt holen und möglicherweise auch ihre Tester auf dem Niveau ansetzen wird. Ist das nicht genau so, dass sie dann möglicherweise einen hohen Standard setzen wird, der aber dem einzelnen Teilnehmer gar nicht mehr gerecht wird, weil dieser gegebenenfalls ganz andere Orientierungsfaktoren und gar nicht das gleiche Niveau hat? Also, der Tester ist ein Spezialist für bestimmte Formen des Lernens und ein Fachspezialist. Möglicherweise sind die Teilnehmer aber von ihrem Anspruchsniveau noch nicht soweit. Was ist die Quintessenz? Die zielgruppenübergreifende Bekanntheit, die hohe Reputation mit Blick auf Neutralität, die Erfahrung im Markt machen die Stiftung Warentest – wenn überhaupt getestet wird – zum geeigneten Testinstitut.

Beachtliche Wirkung bei der Leserschaft

Helmut Kuwan: Die nächste Frage ist eine ganz zentrale. Was haben denn die Testergebnisse bei den Befragten ausgelöst? Sie haben vorher gesehen, dass es in der Bevölkerung ein Anteil von 10 Prozent war, auf den sich die folgenden Grafiken beziehen. Es ist wichtig, das zu berücksichtigen. Wir reden über eine nicht allzu große Gruppe, aber innerhalb dieser Gruppe ist die Wirkung, die man dem Lesen der Testergebnisse attestiert, doch ganz bemerkenswert. Bei allen vier Dimensionen der Transparenz, die wir hier unterschieden haben, hat es aus Sicht der Leser und Leserinnen Verbesserungen gegeben. Die Abstufungen zwischen den einzelnen Aspekten sind eher gering. Insgesamt sind das Werte, die sich durchaus sehen lassen können, auch wenn man sie mit der Wirkung anderer Zeitschriften und Artikel vergleichen würde. Hier hat man eine beachtliche Wirkung bei den Rezipienten.

Wirkungen auf die Marktposition der Anbieter

Die nächste Frage ist wieder an die Anbieter gerichtet: Wo werden mit den Tests Wirkungen erzielt? Die Wirkungen, die sichtbar werden – das kann man natürlich nur die Anbieter fragen, die schon einmal Tests gelesen haben – erfolgen ganz überwiegend im getesteten Sektor. Da attestiert eine Mehrheit den Weiterbildungstests eher große Wirkungen, aber ein nennenswerter Anteil ist auch anderer Ansicht. Erstaunlich ist eher, dass also doch ein Viertel der Anbieter bei Tests in einem bestimmten Segment große Auswirkungen im gesamten Markt sieht. Fraglich ist, ob das überhaupt ein erwünschter Effekt ist.

Anbieter ziehen Konsequenzen aus den Tests

Jetzt zur Frage: Was konkret haben Anbieter an ihren Angeboten als Reaktion auf die Tests verändert? Bei den getesteten Angeboten hat etwa jeder Vierte unmittelbare Konsequenzen gezogen. Unter den nicht-getesteten Anbietern, das sind die meisten, hat immerhin jeder Siebte etwas geändert. Hier hat man überwiegend erfolgreiche Angebote ausgeweitet, eine nahe liegende Reaktion für einen Anbieter, und nur in ganz, ganz seltenen Ausnahmefällen wurden Angebote vom Markt genommen. Das sind aber dann wirklich Einzelfälle.

Ausbau der Tests favorisiert

Noch eine Frage an die Anbieter: Wie sollte sich die Häufigkeit von Weiterbildungstests verändern? Eine Mehrheit plädiert dafür, diese unverändert zu lassen. Soweit überhaupt Veränderungswünsche geäußert werden, favorisiert eine deutlich größere Zahl der Anbieter den Ausbau von Bildungstests. Wieder ein Ergebnis, das mit der anfänglichen Skepsis kontrastiert. Wir haben 42 Prozent der Anbieter, die einen Ausbau von Weiterbildungstests befürworten, 20 Prozent plädieren dafür, sie zu verringern oder ganz einzustellen. Auf die Frage „Wer sollte denn testen?“ wird vor allem die Stiftung Warentest genannt. Daneben gibt es eine Vielzahl von Einzelnennungen. Bemerkenswert ist aber auch, dass ein sehr hoher Anteil von Befragten glaubt, dies nicht beurteilen zu können. Das ist noch einmal ein Zeichen für die hier bestehende Intransparenz.

Kritische Analyse des Angebots

Yves Waschbüsch: Jetzt sehen wir uns noch einmal ganz konkret die einzelnen Unternehmen an. Was sind die Begründungsmuster, die Hintergründe dafür, dass man tatsächlich auf die Tests reagiert und sie in der eigenen Organisation verwertet hat? Zunächst einmal war für mich besonders interessant, dass es kaum einen Unterschied zwischen denjenigen gibt, die die Tests kennen, etwa als Getestete, und denjenigen, die sie nicht kennen. Sie haben ähnliche Begründungsmuster dafür, wie sie auf die Tests reagieren.

Erster Punkt: Wenn ich in irgendeiner Form getestet wurde, kann ich die Ergebnisse nutzen, um mein eigenes Geschäft zu optimieren bzw. kritisch zu hinterfragen. Konkretes Beispiel: Ich arbeite auch sonst viele Angebote aus – für Unternehmen beispielsweise – und erfahre oft nicht, aus welchen Gründen ich das eine oder andere Angebot nicht realisieren kann, sprich, warum ich eine Absage bekomme. Mit der Stiftung Warentest und den Bildungstests bekomme ich eine kritische Analyse, die mir möglicherweise eine Menge Hinweise gibt, woran es liegen könnte, bezogen auf alle möglichen Dimensionen. Oder aber ich gehe ganz einfach hin und überprüfe mein eigenes Qualitätsmanagementsystem, meine eigenen Prozesse, aber auch meine Wirkung nach außen anhand der Kriterien dieser Tests.

Zweiter Punkt: Ich verwerte die Testergebnisse für meine eigenen internen Diskussionen, die immer sehr, sehr schwierig sind. Also dort, wo es um Schwachstellen, um Fehler geht. Dort, wo Dinge nicht gut laufen, gibt es immer eine Menge Gründe, warum wer wie schuld ist. Konkrete Kriterienkataloge oder auch die Rückmeldungen von Stiftung Warentest an der Stelle können helfen, diese internen Schwachstellendiskussionen zu neutralisieren und zu objektivieren. Es kann dann eben nicht dem Trainer die Schuld in die Schuhe geschoben werden, der wiederum behauptet, im Kurs hätten die falschen Teilnehmer gesessen.

Ausstrahlwirkung des Stiftungssiegels

Der dritte Punkt ist heute schon angeklungen: Das „Siegel“ der Stiftung Warentest kann bei der externen Vermarktung neuer Produkte eine Orientierungshilfe sein. Das Qualitätsurteil der Stiftung Warentest hat einen hohen Aufmerksamkeitswert. Ein mit „Gut“ getesteter Anbieter wird sich sagen: Das Urteil hefte ich nicht nur auf mein getestetes Angebot XY, sondern auf alle meine Werbebroschüren und stelle es auch auf meine Internetseiten. Dadurch entsteht möglicherweise auch eine (von Stiftung Warentest) unerwünschte Wirkung, wie Herr Kuwan schon erwähnt hat. Das „Siegel“ hat eine Ausstrahlwirkung, es bezieht sich nicht nur auf das getestete Angebot XY, sondern auch auf die 90 anderen angebotenen Veranstaltungen. Das zeigt, dass die Anbieter tatsächlich aktiv mit den Tests arbeiten.

Nicht zuletzt ist ganz wichtig, dass die Bildungstests für viele Anbieter auch eine qualitätskritische Diskussion angeregt haben, was die eigenen Prozesse und Themen betrifft. Diese können in der Folge auf die definierten Qualitätskriterien durchleuchtet werden.

Leitfaden für die interne Diskussion

Im Unterschied zur Zertifizierung, wo ich mich ja meinen eigenen Maßstäben prozessual annähern muss, bekomme ich hier eine schöne Vorlage, einen Leitfaden, um eine interne Diskussion zu führen. Und selbst dort, wo Leute sagen, dass die Tests überhaupt nicht deren Erfahrung treffen und es überhaupt nicht sein könne, dass – außer durch Zufall – dieses oder jenes Ergebnis entstanden ist, wird reagiert – zum Teil mit einer Veränderung der Angebote. Dort heißt es dann vielleicht, es sei eigentlich alles nur „Labeling“, aber die AGBs hätte man an der einen oder anderen Stelle umformuliert oder die Arbeitsprozesse kritisch betrachtet.

In einem preissensitiven Markt spielt der Preiskampf immer eine große Rolle. Und auch hier ist es durchaus so, dass einzelne Anbieter sagen, es helfe ihnen, den höheren Preis zu rechtfertigen, wenn sie ein entsprechend positives Urteil haben.

Tests in anderen Bildungsbereichen befürwortet

Helmut Kuwan: Am Schluss betrachten wir noch eine Frage, die schon anfangs anklang: Auch wenn Bildungstests nicht als Königsweg angesehen werden können und in anderen Bildungsbereichen ganz andere Gesetze gelten, kann man trotzdem die Nachfrager befragen, für wie wichtig sie Bildungstests in anderen Segmenten halten würden. Das Ergebnis ist bemerkenswert: Sowohl im Schulbereich als auch im Hochschulbereich hält ein sehr viel höherer Anteil der Nachfrager einen Ausbau von vergleichenden Tests für wichtig als in der Weiterbildung. Das sind ganz andere quantitative Dimensionen als in der Weiterbildung. Wir wollen dieses Ergebnis gar nicht im Sinne einer wie auch immer gearteten Handlungsaufforderung interpretieren, sondern nur als Schlaglicht, wie sich die Perspektive der Nachfrager an dieser Stelle darstellt. Interessant ist auch eine Spiegelung der Ergebnisse durch die Weiterbildungsanbieter. Von den Weiterbildungsanbietern, die für den eigenen Bereich ja den Tests mehrheitlich eher skeptisch gegenüber stehen, sind fast 9 von 10 der Ansicht, dass in den Bereichen Schule oder Hochschule ein Ausbau vergleichender Tests wichtig wäre. Abschließend wollen wir versuchen, die Vielzahl der Ergebnisse zu bündeln. Dabei ergeben sich fünf Punkte, die wir kurz erläutern möchten.

Erstens: Es erscheint notwendig, die Reichweite der Weiterbildungstests zu verbessern, und zwar sowohl auf Seiten der Nachfrager als auch der Anbieter. Bei den Nachfragern, die man bisher erreicht hat, sind sehr gute Wirkungen erzielt worden. Bei den Anbietern bestehen manchmal Vorstellungen, die nicht das treffen, was Weiterbildungstests eigentlich sind. Eine offensivere Veröffentlichungsstrategie ist als eine Konsequenz der vorgestellten Ergebnisse in Betracht zu ziehen.

Intensiverer Dialog mit Anbietern

Yves Waschbüsch: Ein zweites Aufmerksamkeitsfeld ist die Intensivierung des Dialogs mit den Anbietern. Wir haben an vielen Ecken und Enden erfahren, dass es da noch schwarze Löcher gibt, die vielleicht nicht alles verschlucken, aber die zumindest im Sinne einer Black Box fungieren. Es gibt Bedarf, die Transparenz und das Wissen um die Tests zu erhöhen, und zwar zum einen im Hinblick auf die Selektionskriterien – also was überhaupt getestet wird –, aber auch im Hinblick auf die Verfahren und die methodische Anlage. Erst dann bekomme ich eine kritische Auseinandersetzung mit den Kriterien und dann erreiche ich auch, dass die Anbieter sich proaktiv als Player in dem Spiel sehen und sich in diesem Sinne, nämlich im Sinne der Nachfrager, noch um verbesserte Qualität bemühen.

Helmut Kuwan: Dritter Punkt: die „Positionierung im Qualitätslabyrinth“. Ich glaube, Herr Dr. Sauter hat einmal gesagt: „Die Weiterbildungslandschaft entwickelt sich vom Angebotsdschungel zum Qualitätslabyrinth.“ Es ist ganz wichtig, dass man deutlich macht, was Weiterbildungstests beinhalten und was nicht. Keine Akkreditierung und keine Zertifizierung – das sind Missverständnisse, die existieren. Es gilt also, in einem ersten Schritt deutlich zu machen, was der Ansatz beinhaltet und in einem zweiten Schritt zu überlegen, ob man Querverbindungen zu anderen Ansätzen herstellen möchte und auch, ob man versuchen will, sich an der einen oder anderen Stelle anders als bisher zu positionieren.

Orientierung geben trotz exemplarischer Tests

Yves Waschbüsch: Viertens ist nicht zu vergessen: Wann können die Tests erfolgreich sein? Dabei stellt sich immer die Frage, wie man Erfolg definiert. Eine Fokussierung auf erfolgversprechende Felder bedeutet zum einen geographisch zu fragen: Kann ich ein regionales gegen ein bundesweites Angebot stellen? Kann ich interkulturelles Training in den Fokus nehmen, ohne die internationale Perspektive mit zu berücksichtigen? Diese Fragen müssen in jedem Fall beantwortet werden. Die Wirkungshorizonte der Angebote sind ein wichtiger Punkt. Fokussierung heißt aber auch zeitbezogen zu schauen und zu fragen: Wann ist ein Angebot geeignet oder nicht? Wir haben erfahren, dass ein möglicherweise hochaktuelles Angebot morgen schon Schnee von gestern sein kann. Das ist dann möglicherweise nicht das richtige Objekt für die entsprechenden Tests. Geographisch, zeitbezogen, last but not least muss zielgruppenspezifisch gefragt werden: Kann man wirklich nur von den Individualnachfragern ausgehen, wenn man weiß, dass – bezogen auf die berufliche Bildung – ein großer Anteil tatsächlich über die Betriebe läuft? Und wenn man weiß, wie die Entscheidungsprozesse dort aussehen, muss man noch einmal Großbetriebe und kleine und mittlere Unternehmen unterscheiden. Also stellt sich auch hier die Frage: Sind wirklich nur die Endnachfrager oder nicht auch kleine und mittlere Unternehmen die Zielgruppe, die mit in Betracht zu ziehen sind? Vor allem ist eines nötig: Werden tatsächlich nur stichprobenweise Angebote getestet, muss der exemplarische Charakter noch transparenter werden, damit der Nachfrager, auch wenn er seinen eigenen spezifischen nachgefragten Kurs nicht im Testheft findet, doch weiß, es sind exemplarische Kriterien, die mir die Orientierungshorizonte geben, die ich brauche.

Ausweitung in andere Bildungsbereiche

Helmut Kuwan: Noch ein letzter Punkt: Die Ausgangssituation, die den Weiterbildungstests zu Grunde lag, findet sich aus Sicht der Nachfragenden auch in anderen Bildungsbereichen wieder. Wenn man die Befragungsergebnisse betrachtet, besteht in anderen Segmenten der Wunsch nach vergleichenden Tests sogar noch in weit stärkerem Maße. Von daher kann man auch darüber nachdenken, ob Bildungstests nicht eigentlich ein systemischer Ansatz sind, der bildungsbereichsübergreifend eingesetzt werden könnte. Die Probleme in der Umsetzung sind absehbar und allen klar, diese Anregung ist in einer eher mittelfristigen Perspektive zu sehen.

Das war abschließend der Versuch, die Vielzahl der Einzelfacetten dieser Untersuchung in fünf Aufmerksamkeitsfelder zu bündeln. Wir hoffen, dass wir Ihnen die eine oder andere Anregung für die weitere Diskussion zu dem Thema geben konnten. Für Rückfragen stehen wir Ihnen gerne zur Verfügung. Vielen Dank für Ihre Aufmerksamkeit.

Dieser Artikel ist hilfreich. 2481 Nutzer finden das hilfreich.