Alfred Töpper: „Ergebniswirkungen von Weiterbildungstests“

Vortrag von Alfred Töpper, Projektleiter Weiterbildungstests, auf der „Bilanztagung Bildungstests“ am 4. November 2005 in Berlin.

Hinweis: Dieser Vortrag wurde mit einer Präsentation illustriert, die wir Ihnen als pdf-Datei zum Download bereitgestellt haben. Bitte speichern Sie den pdf-Rechner auf Ihre Festplatte und öffnen Sie die Datei direkt aus dem Acrobat Reader. Dazu klicken Sie mit der rechten Maustaste auf den Link und wählen „Ziel speichern unter“ bzw. „Verknüpfung speichern unter“.

Download: Vortrag von Alfred Töpper (pdf-Datei, 1,68 MB)
Download: Acrobat Reader

Vortrag:

Ich möchte einige Ergebnisse und Aspekte aufgrund der gemachten Erfahrungen im Rahmen unserer Untersuchungstätigkeit vorstellen, wobei ich dazu sagen muss, dass es sich um keine systematische Studie oder Evaluation handelt. Ich möchte zunächst darauf eingehen, was eigentlich Grundvoraussetzungen sind, um Wirkungen zu erzielen. Dann spreche kurz über die Wirkungen der Stiftung Warentest, der Abteilung Weiterbildungstests und natürlich der einzelnen Testergebnisse. Ich benenne einige Punkte, die die Ergebniswirkungen beeinflussen und benenne exemplarisch Tests und deren Wirkungseffekte. Die Auswahl liegt hier natürlich stärker bei Produkten, die positive Wirkungseffekte erzielt haben. Bei Bedarf kann ich auch auf Untersuchungen mit geringeren Wirkungen eingehen und deren Ursachen zur Diskussion stellen, auch auf existierende grundsätzliche Hürden, die eine Wirkung erschweren. Ich habe fast doppelt so viele Folien als geplant, dafür die Hälfte der Zeit. Im Produkt stimmt das dann wieder. Keine Angst: Ich werde einige Folien schnell überspringen, einige weitere auslassen und mich bemühen, nicht zu schnell zu reden. Die weiteren Unterlagen dienen mehr der Vollständigkeit der Dokumentation.

Grundvoraussetzungen für Wirkung

Wann erzielen wir Wirkung? Wenn ein Informationsbedarf besteht. Diese Aussage klingt trivial, ist aber enorm wichtig. Die Ergebnisse können für Insider noch so spannend sein, wenn kein Bedarf vorliegt, erreichen wir auch nichts. Neben des Bedarfes muss eine entsprechende Bekanntheit und Akzeptanz der Organisation existieren, die diese Ergebnisse verbreitet. Darüber hinaus sind natürlich Grundbedingungen wie Neutralität, Unabhängigkeit, Seriosität und Kompetenz zu nennen. Ich könnte weitere angeben, beschränke mich aber auf die wichtigsten. Zur Ergebnisverbreitung ist eine geeignete Vermarktung unerlässlich. Sie können noch so schöne Ergebnisse haben, wenn sie die Zielgruppe nicht erreichen, dann haben wir wenig davon. Dies lässt sich leicht belegen, wird auch anhand einiger Folien deutlich. Die genannten Grundvoraussetzungen für einen Erfolg im Sinne von Wirkungen werden von der Stiftung Warentest und damit auch der Abteilung Weiterbildungstests erfüllt. Doch es stellt sich natürlich für uns heute die Frage: Wie weit sehen Nachfrager und Anbieter im Bildungssektor dieses?

Verbrauchernähe, Bekanntheit und Akzeptanz

Wir haben 2001 eine Machbarkeitsstudie erstellt, darin den Bedarf an vergleichenden Test begründet, Indikatoren für deren Nutzen erarbeitet und mögliche Ergebniswirkungen skizziert. Doch was haben wir tatsächlich erreicht? Wie weit stimmen die in der Studie gestellten Prognosen? Besteht noch Handlungsbedarf? Ich hoffe, der Nachfolgevortrag wird hier zusätzlichen Erkenntnisgewinn bringen, hoffentlich auch in der Frage, wie weit Weiterbildungstests aus Sicht der Anbieter und Nachfrager notwendig sind. Jetzt zu den Folien, die ich schnell durchgehen möchte. Sie zeigen auf, warum das Projekt Weiterbildungstests letztendlich bei der Stiftung angesiedelt wurde. Zentral sind hier die Verbrauchernähe, die Bekanntheit und die Akzeptanz. Die Folien enthalten einige Zahlen zu den Abonnenten und Einzelheftverkäufen, wobei die Zeitschriften eine höhere Durchdringung haben, da sie von mehreren Personen gelesen werden. Gleiches gilt für die Finanztest-Zahlen. Zur Medienwirksamkeit: Im Jahr 2003 hatten wir über 3 000 TV- und Hörfunkbeiträge, im Jahr 2004 über 5 600. Diese Steigerung hat ihren wesentlichen Ursprung allerdings in einer veränderten Zählweise. Mittlerweile werden Wiederholungen mitgezählt. Die Übernahmen bzw. Berichte unserer Ergebnisse in Tageszeitungen, Zeitschriften im Internet werden aufgrund des hohen Aufwandes von uns nicht systematisch ausgewertet. Dies geschieht allenfalls bei einzelnen Produkten, zum Beispiel bei Büchern oder Sonderpublikationen.

49 Interviews zum Sonderheft Existenzgründung

Im Vergleich zur gesamten Resonanz der Stiftungsergebnisse ist diese bezogen auf Weiterbildungstests noch recht bescheiden: 60 TV- und Hörfunkbeiträge im Jahr 2003 und 75 im Jahr 2004. Auffällig ist, dass dieses Ergebnis sich auf wenige Themen konzentriert. 2003 gab es allein 49 Interviews zur Sonderpublikation Existenzgründung „Erfolgreich selbstständig machen“. Das hängt natürlich auch mit der seinerzeit durchgeführten Pressekonferenz zusammen. Herr Catenhusen ist darauf eingegangen. Auf der nächsten Folie sieht man die entgeldlichen Abrufseiten der Stiftung Warentest im Internet und die Abrufzahlen der Abteilung Weiterbildungstest. Das sind allerdings die Gesamtzugriffe und nicht nur die entgeldlichen. Vergleicht man die Abrufe zum Thema Weiterbildungstests mit unserer Rubrik „Bild + Ton“ werden letztere mit 1,3 bis 1,4 Millionen Zugriffe pro Monat fast 15 mal so häufig abgerufen. Die Rubrik „Steuern + Recht“ mit 200 000 bis 250 000 Abrufen wird nur gut zweimal so häufig abgerufen. Mit vergleichbaren Zahlen aufzuwarten, ist unser nächstes Ziel.

Sonderhefte, Broschüren, Leitfäden und Checklisten

Zu den Produkten, die wir im Bereich in der Abteilung Weiterbildungstests als Sonderpublikationen herausgebracht haben, sind drei zu benennen: im Jahr 2003 das Existenzgründungsheft „Erfolgreich selbstständig machen“ mit 38 000 verkauften Exemplaren, das Heft „Neue Chancen im Job“ mit etwa 25 000 Heftverkäufen und das aktuelle Heft „Jobs in Wellness, Fitness und Pflege“, zu dem natürlich noch keine Zahlen vorliegen. Zu nennen ist hier noch unser Versuch, Nutzer über Broschüren, Leitfäden und Checklisten zu erreichen, indem wir die Ergebnisse und Erfahrungen unserer Untersuchungen in Form allgemeiner Hilfestellungen zur Verfügung stellen. Wir haben begonnen mit den beiden Produkten „Perspektiven für Arbeitslose“ und „Perspektiven für Berufstätige“, die unentgeltlich an Multiplikatoren gegangen sind. Sie stehen den Verbrauchern bzw. Lesern auch zum Downloaden im Netz zur Verfügung. Sie wurden bisher etwa 6500-mal runtergeladen. Etwa 38 000 Exemplare gingen an Multiplikatoren. Das meint in diesem Fall Beratungsinstitutionen, Kammern und Agenturen für Arbeit. Die Resonanz auf die Produkte ist durchweg positiv. Inwieweit diese Broschüren den Nutzer erreicht haben und welchen Nutzen sie brachten, ist noch zu evaluieren. Zwei neue Produkte, eines zum Thema „Lernformen“ und eines zum Thema „Fernunterricht“, sind jetzt aktuell erstellt worden. Zwei weitere, „klassische“ Weiterbildungskurse und E-Learning, stehen vor der Erstellung. Diese vier werden dann gemeinsam vermarktet. Wir hoffen, damit einen hohen Nutzen zu erzielen und die potenziellen Nachfrager auch zu erreichen – durch die Broschüren und durch unsere Testveröffentlichungen.

Information und Orientierungshilfe

Neben dem direkten Verbrauchernutzen setzen wir auf mittelbare Wirkungen. Wenn ein Unternehmen etwas zum Positiven ändert, hat auch der Nachfrager einen Nutzen. Primär geht es aber um den Weiterbildungsinteressierten. Die Vermarktung von Ergebnissen wird natürlich durch entsprechende Medienwirksamkeit stark begünstigt, aber natürlich auch nur dann, wenn ein hoher Inhaltsnutzen und eine entsprechend relevante Zielgruppe existiert. Wir versuchen in unseren Veröffentlichungen über Marktstrukturen und die Qualität der Angebote zu informieren, Orientierungshilfe zu geben und in Qualitätsfragen zu sensibilisieren. Neben von uns steuerbaren Parametern zu einer wirksamen, guten Veröffentlichung gibt es Aspekte, die wir kaum beeinflussen können. Zu nennen sind hier zum Beispiel die Grenzen unserer Aussagefähigkeit oder ein noch zu geringes Nachfragerbewusstsein. Grundsätzlich existiert ein klarer Zusammenhang zwischen Wirkung und Qualitätsurteilen. Wenn wir in der Lage sind, Qualitätsurteile zu vergeben, ist die Resonanz erfahrungsgemäß besser. Hinzu kommt die Frage der Qualitätsunterschiede: je höher, umso besser. Wenn wir beispielsweise feststellen, dass alle 20 Angebote in etwa qualitativ gleichwertig sind, dann mag das eine wunderbare Untersuchung gewesen sein, die wir erbracht haben. Nur der Leser honoriert das nicht unbedingt und fragt sich: „Warum wurden Angebote untersucht, die sowieso alle gleich sind?“. In der Konsequenz ergibt sich manchmal ein hoher zu betreibender Aufwand, mit (scheinbar) relativ geringem Inhaltsnutzen. Da ist es schon besser, den „Guten“ und den „Schlechten“ zu haben.

Werbung mit Testergebnissen

Die Vergabe von Qualitätsurteilen ist insbesondere auch für Anbieter wichtig, da sie dann besser mit den Ergebnissen werben können. Werbung mit Testergebnissen ist ein wichtiger Faktor in Richtung Ergebniswirkung und Marktveränderung und Vermarktung. Leider sind Qualitätsurteile nicht immer möglich. Grundsätzlich gilt: Je konkreter und eindeutiger die Ergebnisse – möglichst mit Handlungsempfehlungen – sind, umso besser. Die Kosten des Angebotes spielen auch eine wichtige Rolle. Wer einen 30-Euro-Kurs besucht, wird zur Suche und zur Kursauswahl kaum fünf Stunden recherchieren, mehrere Fachzeitschriften und unsere Publikationen kaufen. Wenn ich allerdings einen Fachwirt-Abschluss oder eine andere langfristige Weiterbildungsmaßnahme anstrebe oder mich grundsätzlich orientieren möchte, ist der Informationsbedarf und die -bereitschaft eine völlig andere.

Mittelbare Ergebniswirkungen

Neben den direkten Ergebniswirkungen unserer Arbeit existieren diverse mittelbare. Zu nennen sind die Dinge, die den Anbieter betreffen, nämlich Produktveränderungen durch die gegebenen Impulse. Dies betrifft insbesondere die getesteten Anbieter, aber auch nicht getestete. Letzteres gilt insbesondere, wenn wir strukturelle Defizite, Stärken und Schwächen identifizieren können, die auf den entsprechenden Angebotsmarkt in Gänze übertragbar sind. Bei der Bearbeitung unserer Untersuchungskriterien und Anforderungen werden die existierenden Qualitätskriterien und -anforderungen von Zertifizierern berücksichtigt. Umgekehrt können identifizierte grundsätzliche anbieterübergreifende Problemlagen Anregung für Zertifizierer geben. Produktveränderungen ergeben sich am stärksten, wenn der Verbraucher aufgrund einer Verhaltensänderung reagiert. Aber auch die Anbieter selber und der Druck durch die Veröffentlichung in den Medien tragen zur Marktveränderung bei. Durch die Untersuchungen und deren Verbreitung werden aber auch Normungs- manchmal Gesetzesinitiativen oder eine Diskussion in der Bildungswissenschaft angestoßen. Sämtliches trägt zur Wirkung und (positiven) Einflussnahme bei.

Anbieter nutzen Ergebnisse, um Qualität zu verbessern

Jetzt möchte ich kurz auf Wirkungen bestimmter Themen und Themenfelder eingehen. Zunächst das schon benannte Finanztest extra „Erfolgreich selbstständig machen“. Das Produkt wurde im Rahmen einer Pressekonferenz vorgestellt. Neben den 51 Beiträgen in Fernsehen und Rundfunk haben wir über 320 Beiträge in Tageszeitungen mit einer Gesamtauflage von circa 10 Millionen gefunden und hatten diverse Anfragen von Anbietern, insbesondere von den Industrie- und Handelskammern, zu verzeichnen. Die folgende Folie zeigt eine Übersicht ausgewählter Projekte und deren erzielte Ergebniswirkungen. Eingehen möchte ich nur auf einige wenige Aspekte. Erwähnenswert sind hier vielleicht die Weiterbildungsdatenbanken. Fast alle Datenbankbetreiber haben im Anschluss an die Veröffentlichung Einzelgutachten angefordert und – eine Wiederholungsuntersuchung wird es hoffentlich zeigen – Ergebnisse der Untersuchung zur Qualitätsverbesserung genutzt. Weiteres Beispiel sind unsere E-Learning-Untersuchungen. Die Ergebnisse unseres ersten Tests sind in die PAS-Entwicklung (Publicly Available Specification), eine Art Vornorm, eingeflossen, bei den Datenbanken im Übrigen auch. Auch bei der Untersuchung Weiterbildungsberatung haben die verschiedenen Anbietergruppen Einzelgutachten angefordert und es haben sich diverse Anschlussaktivitäten ergeben. So arbeiten wir derzeit im Rahmen eines Inititativkreises zur Beratung mit, um mehr Transparenz und Qualität zu erreichen. Vielleicht noch erwähnenswert ist die Untersuchung zu den AGBs (allgemeine Geschäftsbedingungen), weil dort zahlreiche Änderungen vorgenommen wurden. Interessant deshalb, weil hier Änderungen in der Regel nicht nur den untersuchten Kurs, sondern alle vom Anbieter angebotenen Produkte betreffen. Auch hier gab es Änderungen von Anbietern, die gar nicht im Test waren.

Ergebnisdarstellung in anderen Medien oft problematisch

Problematisch kann eine Übernahme unserer Ergebnisse in anderen Medien sein, da häufig nicht hinreichend differenziert und manchmal zu stark pauschalisiert wird. Auch bei der werblichen Übernahme bestimmter Textinhalte unserer Ergebnisse seitens der Anbieter müssen wir darauf achten, dass durch ein geschicktes Zusammenstellen kein falscher Grundtenor entsteht. An uns gerichtete Anbieterkritik kommt insbesondere bei schlechten Ergebnissen, manchmal ist diese aber recht pauschal und unspezifisch. Häufig wird auch kommuniziert, dass unsere Ergebnisse sich nicht mit den Anbietererkenntnissen decken, die auf Zufriedenheitsurteile der Teilnehmer verweisen. Das diese Umfrageergebnisse mit unseren Untersuchungsergebnissen nicht vergleichbar sind, lässt sich aber schnell klar machen. Nicht alle Themen sind auch medienwirksam vermarktungsfähig, bieten dennoch wichtige nutzwertorientierte Information. Eine sehr hohe Ergebniswirkung ergibt sich auch durch den starken inhaltlichen Diskurs in der Fachwelt, also in der Auseinandersetzung mit Anbietern, mit angegliederten Verbänden, in Gremien oder in der Bildungswissenschaft.

Vielen Dank für Ihre Aufmerksamkeit und Geduld. Ich übergebe das Wort an Frau Waschbüsch und Herrn Kuwan.

Dieser Artikel ist hilfreich. 2481 Nutzer finden das hilfreich.