Dr. Walther Kösters: „Weiterbildungstests: Methodischer Ansatz, Qualitätsbegriff, Ergebnisse“

Vortrag von Dr. Walther Kösters, Leiter Abteilung Weiterbildungstests der Stiftung Warentest, auf der „Bilanztagung Bildungstests“ am 4. November 2005 in Berlin.

Hinweis: Dieser Vortrag wurde mit einer Präsentation illustriert, die wir Ihnen als pdf-Datei zum Download bereitgestellt haben. Bitte speichern Sie den pdf-Rechner auf Ihre Festplatte und öffnen Sie die Datei direkt aus dem Acrobat Reader. Dazu klicken Sie mit der rechten Maustaste auf den Link und wählen „Ziel speichern unter“ bzw. „Verknüpfung speichern unter“.

Download: Vortrag von Dr. Walther Kösters (pdf-Datei, 1,1 MB)
Download: Acrobat Reader

Vortrag:

Sehr geehrter Herr Staatssekretär, meine Damen und Herren, liebe Kolleginnen, liebe Kollegen,

nach den beiden Grußwörtern, die ja schon ganz erhebliche und schwergewichtige Inhalte transportiert haben, möchte ich Ihnen jetzt ganz bescheiden das ABC der Weiterbildungstests in Erinnerung rufen. Vielleicht ist ja auch das eine oder andere neu für den einen oder die andere von Ihnen. Ich möchte mich der Materie systematisch und – zur Erläuterung und Einordnung – auch noch mal ein kleines bisschen historisch nähern.

Wo stehen die Bildungstests in der Qualitätssicherung?

Ganz zu Beginn – und das ist wichtig zur Vermeidung unnötiger Debatten – steht die Frage: Wo sind die Bildungstests in der bunten Vielfalt der Qualitätssicherung zu verorten? Dazu folgende Übersicht. Bildungsqualität insgesamt ruht auf drei Säulen. Erstens: Die Ergebnisse müssen stimmen, etwas Gelerntes muss angewendet werden können. Das ist natürlich das Wesentliche. So etwas wird zum Beispiel mit PISA bei Schulen geprüft, jedenfalls teilweise. Gute Ergebnisse beruhen ihrerseits wesentlich auf guten Lehrveranstaltungen, guten Lehrmedien usw. also auf – zweitens – Produktqualität; wichtig vor allem aus Nutzersicht. Denn man will als Lerner nicht zum guten Ergebnis hingequält werden. Das scheint mir neuerdings wieder ein Problem bei den Schulen zu sein. Dritte Säule: Gute Produkte beruhen auf Dauer auch auf einer verlässlichen Qualitätssicherung beim Anbieter. Da greifen zum Beispiel Zertifizierungen nach geregelten Qualitätssicherungsstandards. Der Herr Staatssekretär hat es ja gerade eben erwähnt – ISO, EFQM, LQW2 und andere. Allerdings bürgt ein Zertifikat keineswegs automatisch für gute Qualität, denn das alles ist keine strenge Kausalkette: Wenn A dann B dann C. Da gibt es natürlich noch weitere Faktoren, die mit den Lernenden, der Kultur, den finanziellen Möglichkeiten, den politischen Rahmenbedingungen und so fort zusammenhängen.

Diese drei Säulen – deren Inhalt und dann wiederum das wünschenswerte Ausmaß der jeweiligen Umsetzung – lassen sich zudem aus verschiedenen Perspektiven betrachten. Wir von der Stiftung Warentest kümmern uns vorrangig um die Produktqualität, die mittlere Säule – die interessiert unseren Endverbraucher, aus dessen Perspektive wir das ganze untersuchen. Das zur Einordnung.

Die offene berufliche Weiterbildung im Test

Was wir testen? Zunächst: nur die offene Weiterbildung, also keine betriebliche Weiterbildung, da die Stiftung satzungsgemäß nur für den Endverbraucher zuständig ist. Die Vorsilbe „End“ ist dabei wichtig, da ja auch viele Unternehmen in diesem Sinne „Verbraucher“ sind. Und wir testen – bislang wenigstens – keine allgemeine Weiterbildung, da wir uns, bei allen Abgrenzungsschwierigkeiten, in dieser ersten Projektphase um den wichtigsten Bereich zuerst kümmern wollen. Wir testen Lehrgänge, Seminare als klassische Präsenzveranstaltungen, Lernmedien wie CD-ROM-basierte Selbstlernprogramme, Internetkurse, Bücher sowie auch die dazu gehörigen Beratungen und Informationen – bei letzterem die Angebote von den Trägern selbst, aber auch die von unabhängigen Dritten.

Bei der Themenauswahl lassen wir uns von externen Kriterien leiten wie etwa der arbeitsmarktpolitischen Bedeutsamkeit, wie natürlich auch von internen Kriterien, z.B. der Frage: „Können wir so was überhaupt sinnvoll testen und veröffentlichen?“. Wir versuchen, einerseits Themenschwerpunkte zu setzen – nach Existenzgründung, Softskills, Wellness und Gesundheit kommt demnächst – es ist jetzt kein großes Geheimnis mehr – Marketing und Vertrieb. Wir versuchen andererseits neben diesen Schwerpunkten möglichst breit alle Bereiche abzudecken.

Vom Abendkurs bis zum Fernstudium

Gleichzeitig decken wir verschiedene Lernformen und Lernorganisationsformen ab, also berufsbegleitende Abendkurse, Fernstudium, ganztägige Blockseminare und was es da alles an verschiedenen Möglichkeiten gibt.

Unser Bestreben ist immer, alle vorhandenen Angebote, die bei einer gewissen Abstraktion vergleichbar sind und die innerhalb eines meist zweimonatigen Zeitraums beginnen – die also für den Verbraucher eine realistische Alternative darstellen – einzubeziehen. Und dann prüfen wir die Qualität: fachlich und didaktisch, die Lernumgebung, den Service, die Beratung, die Informationen sowie – es wurde schon genannt – die Vertragsgestaltung. Wie wir das machen, sage ich nachher. Denn für das grundlegende Verständnis unseres Vorgehens ist ganz wichtig zu sehen, dass wir – die Abteilung Weiterbildungstests – ein typisches und stolzes Kind der Stiftung WARTENTEST sind, wenn auch mit ein paar Besonderheiten. Herr Dr. Brinkmann hat es ja in seiner Begrüßung schon ausgeführt: Die Stiftung hat im Jahre 6 ihres Bestehens schon Bildung getestet, später übrigens auch die offene berufliche Weiterbildung. Und dies stets mit dem test-typischen Verbraucher- und Produktbezug.

Dienstleistungstests – eine lange Tradition

Dienstleistungstests – und wir sehen aus unserer Verbraucherperspektive heraus eine Lehrveranstaltung primär als ein Produkt, eine Dienstleistung, dies ist eine ungewohnte Perspektive für Pädagogen – also Dienstleistungstests haben eine gute und lange Tradition in der Stiftung. Und von daher gibt es auch eine entwickelte, vielfach erprobte und verfeinerte – und ich kann stolz hinzusetzen – gegen Anfechtung auch vor Gericht stets erfolgreich verteidigte Zielsetzung, Vorgehensweise – sprich Methodik – und Veröffentlichungspraxis. Da geht es etwa um folgende Fragen: Wie erfolgt die Marktauswahl? Wie werden Anbieter einbezogen? Wie wird die Qualität des Untersuchungsprozesses selbst intern gesichert? Und welche Voraussetzung muss eine Untersuchung erfüllen, damit wir richtige Schulnoten vergeben können? Wir sprechen da von „Qualitätsurteilen“. Die Insider unter Ihnen wissen: Ich denke an Fachbeiräte, an Fallzahlregeln, an Untersuchungstypklassifizierung, Anbietervorinformationsregeln und ähnliches.

Unabhängig wie die Stiftung

Natürlich gibt es Besonderheiten: Wir werden – im Unterschied zum Rest der Stiftung, die sich überwiegend aus eigenen Erlösen finanziert, Herr Dr. Brinkmann und der Staatssekretär erwähnten dies schon – vom Staat getragen und sind deshalb intern etwas anders organisiert. Aber wir sind – wie die Stiftung insgesamt – unabhängig: Methodische, thematische und inhaltliche Weisungen gibt es und gab es nicht. Eventuelle Versuche würden wir nur als wohlmeinenden Ratschlag gelten lassen.

Weitere Besonderheiten: Tendenziell stärker als für andere Dienstleistungen gilt, dass der Verbraucher oder Nutzer – die Begriffe sind da immer etwas schief; „der Lernende“ oder vielleicht sollte man sagen, „derjenige, der als Privatinvestor in seine Bildung investiert“ – sehr stark selbst bestimmt oder mitbestimmt, was die Qualität dieses Lernprozesses ausmacht. Und da haben wir die berechtigte Pädagogensicht. Eine Lehrveranstaltung ist eben kein bis ins letzte definierbares, standardisiertes Produkt, kein Investitionsgut zur Erzeugung von Bildung. Und das berücksichtigen wir auch.

Einen klar abprüfbaren Anforderungskatalog für Inhalte und Didaktik aufzustellen, ist deshalb auch immer eine Herausforderung, aber, wie sich gezeigt hat, ist es gut möglich. Denn bestimmte Voraussetzungen und Verfahrensweisen müssen einfach gegeben sein und können auch mehr oder minder stark realisiert werden.

Weiterbildungstests – weltweit einmalig

Nächster Punkt der Besonderheiten ist das, was wir im Jargon „atomistische Märkte“ nennen: Was nützt es dem Münchner, wenn die besseren Seminare in Hamburg oder Berlin angeboten werden? Und was nutzt es dem Suchenden nach einer Fortbildung im IT-Projekt-Management, wenn nur allgemeine Kurse getestet wurden? Darauf komme ich gleich zurück. Und schließlich als letzte Besonderheit, in aller Bescheidenheit in Klammern gesetzt, das BIBB hat es herausgefunden und der Herr Staatssekretär hat es liebenswürdigerweise schon erwähnt: Wir sind mit unseren Bildungstests weltweit einmalig. Insofern wollen wir also – und das ist wichtig, wenn man Bildungstests verstehen will – mit unseren Tests genau das Gleiche wie die Stiftung insgesamt mit ihren Produkttests will. Als erstes wollen wir eine Kaufempfehlung abgeben: Wenn du, lieber Verbraucher, liebe Verbraucherin, dein Business-Englisch aufpolieren willst, dann nehme die Selbstlern-CD von XY bzw. wenn dir dieser oder jener Aspekt wichtig ist, nehme sie eben von YZ. Das geht aber nicht oder nur schlecht bei Präsenzveranstaltungen, wie eben schon gesagt. Da geht es vielmehr um das Bewusstsein-Schaffen, um das Befähigen des privaten Bildungsinvestors.

Qualität erkennen und einfordern

Das heißt: Die Lernenden sollen den Überblick haben, Qualität erkennen können, Qualität einfordern können, Preise und Leistungen vergleichend nebeneinander stellen und ihre Rechte vor allem in Vertragsdingen wahren – siehe die eingangs von Dr. Brinkmann erwähnte Fernschuluntersuchung von 1970. Im Präsenzschulungsbereich ist das in der Tat noch heute andauernd ein Problem, wie wir immer wieder zeigen können. Und dies alles: Möglichst vor der Auswahl eines Kurses oder eines Selbstlernprogramms, notfalls allerdings auch noch als Verlangen einer Nachbesserung, wenn man denn schon im Kurs drinsteckt.

Dass nicht nur Verbraucher unsere Tests lesen, sondern auch Anbieter, Multiplikatoren, Fachleute und Politiker, nehmen wir natürlich billigend in Kauf. Denn – und vermutlich werden Herr Kuwan und Frau Waschbüsch das heute Nachmittag bestätigen können – viele Anbieter, die guten Anbieter, reagieren proaktiv. Manche wollen gar nicht abwarten, bis ihnen unzufriedene Kunden davon laufen und andere folgen da schlicht ihrem professionellen Selbstverständnis. Denn durch uns bekommen die Anbieter eine Außenansicht ihrer Produkte, die ihnen etwa ihre Seminarkritikbögen – um mal ein populäres Instrumentarium zu nennen – niemals geben könnten. Und ich glaube, die meisten von denen wissen das zu schätzen – aber da warte ich lieber ab, was wir heute Nachmittag zu hören kriegen.

Mit verdeckten Testpersonen in die Kurse

Wie machen wir unsere Tests? Als erstes kommt die Themenauswahl – dazu hatte ich schon was gesagt. Dann kommt die Marktauswahl: Welche Angebote werden tatsächlich einbezogen? – später nachzulesen in der Veröffentlichung unter der Rubrik „Ausgewählt, Geprüft, Bewertet“, und – auch ganz wichtig in letzter Zeit – welche Kurse, die wir in die Marktvorauswahl einbezogen haben, finden eigentlich statt? Parallel dazu wird das Untersuchungskonzept erstellt. Dazu gehört zentral ein speziell zugeschnittenes Anforderungsprofil zu Inhalten, Didaktik, Service und so fort. Und dieses Profil wiederum wird in eine konkrete Liste mit Prüfkriterien umgesetzt, die dann wie eine Checkliste durchgearbeitet werden. Wenn wir dann erheben, wie gut eine Lehrveranstaltung tatsächlich ist, schicken wir beispielsweise verdeckte Tester in die Kurse. Die Tester werden vorher geschult und sie entsprechen der Zielgruppe der Kurse. Es gibt auch offene Prüfungen. So haben wir z.B. Kfz-Lehrwerkstätten von Fachleuten begehen und begutachten lassen. Selbstlernmedien wie CD-ROMs werden im Labor von Experten geprüft, übrigens auch auf ihre Ergonomie und multimediale Gestaltung. Eine Anbieterbefragung ist Standard bei uns.

Die sich aus diesem gesamten Prozess ergebenden Prüfprotokolle werden ausgewertet, die Ergebnisse in einer Tabelle verdichtet. Die Bewertungsmaßstäbe, die dem ganzen zugrunde liegen, werden für jede Untersuchung neu entwickelt bzw. angepasst und mit Dritten – vor allem auch Anbietervertretern – kritisch diskutiert. Für Insider: Das ist der Fachbeirat, der hier eine große Rolle spielt.

Veröffentlichung und Vermarktung

Und dann schließlich genauso wichtig wie die Untersuchung selbst ist die Veröffentlichung und die Vermarktung der Weiterbildungstests. Der Veröffentlichungstext soll nicht nur die Untersuchungsergebnisse erläutern, sondern vor allem auch Hintergrundinformationen zu den mit der Weiterbildung angezielten Tätigkeitsfeldern und den diesbezüglichen Jobchancen liefern. Veröffentlichung heißt: Platzierung in unseren Zeitschriften test und Finanztest, möglichst auch noch in einem Sonderheft, so wie in den letzten beiden test Spezial Weiterbildung und davor ein Finanztest extra, und natürlich auch in unserem zunehmend populären Internet-Auftritt. Dazu kommt die Veröffentlichung unserer gesammelten Erfahrungen – unabhängig von den einzelnen Untersuchungen – in Form von Checklisten und Leitfäden.

Vermarktung heißt: Öffentlichkeitsarbeit machen, Interviews geben, auf Tagungen sprechen usw. Herr Töpper wird das noch genauer beleuchten und mit Zahlen unterfüttern.

Wie viel Qualität ist vorhanden?

Die systematische Betrachtung schließt mit einer letzten Folie. Fragen wir uns, was Bildungstests nicht sind. Bildungstests sind keine Evaluationen, weil sie keine individuellen Begründungszusammenhänge für Qualität oder eben Nicht-Qualität sowie entsprechende Lösungsansätze suchen. Bildungstests stellen hingegen „nur“ fest, wie viel Qualität vorzufinden ist – Punkt und aus. Sie sind entsprechend auch keine Auditierung mit anschließender hoheitlicher oder ähnlich wirkender Zertifizierung als Ja-/Nein-Entscheidung mit direkter Geschäftswirksamkeit, sondern differenzierte Beurteilungen, die sich der Interessierte zu eigen machen kann oder nicht.

Bildungstests haben nichts mit volks- oder betriebswirtschaftlicher Effizienz zu tun, wie primär das Bildungscontrolling – das liegt an der Verbraucherperspektive. Der Verbraucher muss selbst entscheiden, ob der geforderte Preis in einem vertretbaren Verhältnis mit der vorgefundenen Leistung und Qualität bzw. mit seinen eigenen Bedürfnissen oder mit seinem eigenen Bedarf steht. Bildungstests gehen inhaltlich tiefer als Kennzahlensysteme. Dafür können sie aber nicht derartig flächendeckend sein, da mit der Tiefe die unproblematische Vergleichbarkeit mit allem anderen verloren geht. Staatssekretär Catenhusen hat bereits auf den „Stichprobencharakter“ unserer Tests hingewiesen. Auf Benchmarking und andere Instrumente will ich hier nicht weiter eingehen. Wichtig ist: Alle diese Instrumente haben ihre Stärken und Schwächen, alle haben ihre Daseinsberechtigung, kein Instrument kann alles und ist für sich genommen ausreichend. Auch die Weiterbildungstests nicht. Manche von ihnen ergänzen sich einfach ganz wunderbar.

Für Bildungstests ist kennzeichnend, dass sie sich bei mittlerer Detailtiefe auf die Qualitätsfeststellung der Produkte, der Lehrgänge, der Medien, beschränken, ohne nach Gründen für die Ergebnisse zu fragen, aus Verbrauchersicht für Verbraucher veranstaltet werden und Auswahlmöglichkeiten hinsichtlich ihrer zentralen Charakteristika vergleichend nebeneinander stellen und dabei Besonderheiten bis zu einem gewissen Grad unter den Tisch fallen lassen müssen.

Weiterbildungstests – eine Idee aus den 90er Jahren

Noch kurz zur Historie, soweit sie nicht schon von meinen Vorrednern bemüht worden ist. Bildungstests – woher kommen sie? Die Vor- und Frühgeschichte zeichnet sich bekanntermaßen durch Schriftlosigkeit aus, und so gibt es nur mündliche Überlieferungen, die von Stammtischgesprächen Anfang der 1990er Jahre in einer Runde rund um Edgar Sauter vom BIBB berichten. Bildungstests in der Weiterbildung schwerpunktmäßig zu betreiben, so wie das Herr Dr. Brinkmann vorhin geschildert hat, wurde meiner Kenntnis nach öffentlichkeitswirksam zum ersten Mal von Herrn Professor Lenzen, damals Vorsitzender der Deutschen Gesellschaft für Erziehungswissenschaften, heute Präsident der Freien Universität, gefordert. Öffentlich gemacht hat es die „Berliner Zeitung“ im April 1996. Daraufhin sickerte das Thema über politiknahe Stiftungszirkel in politische Aktionsprogramme, von dort in den Wahlkampf, wo sich das BMBF als immer ein bisschen schneller erwies als andere. Herr Catenhusen hat ja Einzelheiten genannt. Das führte schließlich zu einer Förderungszusage im Juli 2002, die nun, nach einer Verlängerung, bis Dezember 2007 besteht. Was dann kommt, hängt stark auch von der Diskussion, die mit dieser Tagung begonnen werden soll, ab.

Sehr lange Kurse blieben bislang außen vor

Welche übergreifenden Ergebnisse haben wir bislang in den 50 Untersuchungen gefunden, also bezüglich Transparenz und Qualität, nicht bezogen auf die Wirkungen unserer Veröffentlichungen. Ich muss vorausschicken, dass wir bislang noch nicht das ganze Feld der beruflichen Weiterbildung beackert haben. Sehr lange Lehrgänge mit Kammerprüfungen hatten wir bislang erst einmal. Auch die europäische oder sogar die internationale Dimension ist noch unterbelichtet, was meiner Einschätzung nach auch noch ein wenig der Marktlage geschuldet ist, sieht man von einigen Herstellerzertifikaten im IT-Bereich und einigen wissenschaftlichen Weiterbildungen ab.

Vier Punkte habe ich auf der Folie aufgeführt, die überwiegend für sich selbst sprechen. Eine Anmerkung vielleicht zum dritten Punkt, zur Anbieterselbstüberschätzung: Viele Anbieter sind von ihrer Qualität vollkommen überzeugt. Testet uns doch, wir sind toll, heißt es da oft. Wenn sie dann tatsächlich gestestet werden und die Testergebnisse sehen, sind sie häufig, auch wenn sie passabel abschneiden, sehr überrascht. Das ist aber normal. Denn außer den untauglichen Seminarkritikbögen stehen ihnen keine Instrumente der Außenansicht zur Verfügung. Somit bleibt ihnen eigentlich immer nur die Innenansicht. Die Problematik neuer Tätigkeitsfelder – vierter Punkt – ist übrigens ein Thema in unserem neuen test Spezial Weiterbildung „Jobs in Wellness, Fitness und Pflege“.

Klare Noten sind das Ziel

Quintessenz: Was tun wir? Unser Ziel sind immer klare Noten für einzelne Weiterbildungen bzw. entsprechende Beratungs- und Informationssysteme: Interkulturelles Training Frankreich. Anbieter A gut (Note 2,3), Anbieter B ausreichend (Note 3,7) mit entsprechenden Teilleistungsbewertungen.

Das Problem dabei: Vor allem Inhalte und Didaktik sind oft nicht hinreichend vergleichbar. Oder: Wir müssen den Kurs mindestens dreimal besuchen, um zu einer gültigen Note zu kommen. Dies ist eine bewährte Regelung der Stiftung Warentest. Der Kurs findet aber nicht häufig genug statt. Oder: Wir besuchen den Kurs zwar mehrfach, die Qualität schwankt aber ganz stark. Solche und fünfzig andere Probleme hindern uns oft daran, Noten zu vergeben, so wie man das von der Stiftung erwartet und wie wir das selbst auch gern sehen. Besonders stark haben uns diese Probleme beim letzten Schwerpunkt „Wellness, Fitness, Pflege“ getroffen, weil es ein sehr neuer, unstrukturierter und unfertiger Bereich ist.

Deshalb gibt es dort häufig „nur“ wertende Beschreibungen mit Tendenzaussagen wie „Qualität eher niedrig“ oder „Qualität eher hoch“. Oder: Wir geben den Anspruch der Vergleichbarkeit auf und listen Kurse oder Medien, die in einem größeren Themenbereich gefunden werden, und messen zumindest die Inhalte an dem jeweils eigenen Leistungsversprechen. Oder: Wir bewerten nur Teilleistungen. Aber da muss man natürlich wesentliche Leistungsmerkmale treffen, und da sind die Ansichten häufig verschieden. Eine Bildungsuntersuchung, die sich auf die Formaldehyd-Ausdünstung des Seminarmobiliars beschränkt, wird es mit Stiftung Warentest jedenfalls nicht geben. Und schließlich: Häufig ist der Markt so diffus, dass man ihn mit Reports, Übersichten, exemplarischen Inanspruchnahmen erst einmal beschreiben muss. Das ist manchmal komplizierter als eine „handfeste“ Untersuchung mit Noten.

Bei den Weiterbildungstests haben wir zudem eine ganz tolle Einrichtung, und zwar eine Expertenrunde, die uns berät. Wie sie das tut, wird uns nun Frau Dr. Krekel vom BIBB erzählen, die dort Mitglied ist.

Vielen Dank für Ihre Aufmerksamkeit.

Dieser Artikel ist hilfreich. 2481 Nutzer finden das hilfreich.