Evaluation

Gerade mit dem Einsatz von eher qualitativen Prüfungsformen wie Portfolios oder Blogs rücken Fragen nach der Beurteilung dieser in den Vordergrund. Neben den aus der Empirik bekannten Inhaltsanalysen bieten sich vor allem sog. Rubrics an:

Einen ersten Einstieg liefert Sebastian Schuhbeck hier. Einen Rubric-Generator für viele unterschiedliche Lernsituationen habe ich hier gefunden. Sieht auf den ersten Blick positiv auf und ist sicherlich für den Einstieg in rubrics hilfreich, allerdings sollte man auch hier nicht vergessen, dass ein rubric den Unterrichtszielen genügen soll. D.h. es sollte von den konkreten Unterrichtszielen aus, die man erreichen möchte, entwickelt werden. Da gefällt mir rubistar schon besser: hier wird nur die Struktur vorgegeben, die einzelnen Kategorien muss man selbst ausfüllen.

Doch wie erstellt man eigentlich rubrics? Hierauf geben folgende Artikel (Quelle) eine Antwort:
"Creating Rubrics - Inspire your students and foster critical thinking
Rubrics can be used in many ways. Once created, an established rubric can be used or slightly modified and applied to many activities. Reviewing, reconceptualizing, and revisiting the same concepts from different angles improves understanding of the lesson for students. Think of a writing rubric – good writing does not change with the project. Because the essentials remain constant, it is not necessary to create a completely new rubric for every activity.
This five-part series explores how one teacher designs, refines, and implements rubrics in a variety of subject areas. Article one, The Advantages of Rubrics, defines rubrics, gives an easy-to-understand example, and lists their advantages. Article two, Create an Original Rubric, takes you step-by-step through the process of making your own rubrics. Article three, Analytic
vs. Holistic Rubrics, describes these two types of rubrics and discusses
the advantages of each. Article four, How
to Weight Rubrics, shows how you can apply weights to different criteria,
making some elements more important than others. Article five, Student-Generated
Rubrics, depicts how one teacher elicited student input in creating a rubric
for an integrated science, math, reading, and writing project."

Wer mehr wissen möchte, für den gibt es hier einen Kurs zur Erstellung von rubrics.

Beispiele, Anwendungszusammenhänge und auch die Verbindung zu Porfolios bietet diese Website. Unbedingt empfehlenswert, eine sehr grosse Sammlung.

Interessanter Beitrag von Ehlers, U-D.(2006). Bildungsrelevante Qualitätsentwicklung. Qualitätskompetenz als Grundlage für Partizipation im Qualitätsprozess. In: Sindler, A.; Bremer, C.; Dittler, U.; Hennecke, P.; Sengstag, C.; Wedekind, J. (Hrsg.) Qualitätssicherung im E-Learning, S. 33-54

abstract:

Der Beitrag stellt das Konzet bildungsrelevanter Qualitätsentwicklung vor. Sie zielt auf die Verbesserung pädagogischer Handlungszusammenhänge - und damit vor allem auf eine Professionalisierung des Aushandlungsprozesses zwischen Lernenden udn Lernarrangements ab. Qualitätsstrategien für E-Learning - so die These - müssen in diesem Bereich wirksam sein. D.h. dass die handelnden Akteure in einen Lernprozess eintreten, in dessen Verlauf sie sich mit den neuen oder veränderten Werten und handlungsrelevanten Mustern eines neuen Qualitätsverständnisses auseinandersetzen. Insgesamt werden drei Komponenten eingeführt:
1) Partizipations- und Aushandlungsprozesse, die Lernende und andere Stakeholder an der Qualitätsentwicklung beteiligen
2) ein Rahmenmodell, das Qualitätsentwicklung in vier Schritte unterteilt und zeigt, an welchen Stellen Partizipations- und Aushandlungsprozesse auftreten und
3) die Ausarbeitung des Konzeptes der Qualitätskompetenz, welches Kompetenzen umfasst, die im partizipativen Qualitäsentwicklungsprozess notwendig sind.

Thesen

1) Qualitätsentwicklung erzielt nur einen Effekt, wenn auch der Bildungsprozess der Lernenden in den Blick genommen wird
2) Qualität entsteht aus einer Ko-Produktion zwischen Lenenden und Lernarrangement
3) Qualitätsentwicklung muss auf eine Professionalisierung und Beteiligung relevanter Stakeholder abzielen (S. 34)

Qualität bisher vor allem "Effektivitätsvergleiche" (No-Significant-Different-Phenomenon)
Problem: komplexes Wirkungsgefüge, Lerntheorie nicht mediales Merkmal macht den Unterschied

"Immer mehr setzt sich die Erkenntnis durch, dass Lernmedien nicht eine Lernqualität per se zugeschrieben werden kann, sondern dass diese erst im Prozess des Lernens entsteht und vom Lerner und von der Lernerin mit bestimmt wird" (S. 38)

"Qualität entsteht demnach in Interaktion von Lernenden und Lernarrangement (vg. Fendt, 2000, S. 69) und ist damit ein Aushandlungsprozess" (S. 39)

in diesem Aushandlungsprozess müssen vier Faktoren konkretisiert werden
1. Wer? Die an der Aushandlung teilnehmenden Stakeholder
2. Was? Das Objekt der Aushandlung
3. Was? Die Werte und Normen in Bezug auf Qualität
4. Wie? Methode der Aushandlung

Qualitätskompetenz-Modell
Dimension 1. Wissen über Qualität (= reine Wissen über Möglichkeiten zur Qualitätsentwicklung)
Dimension 2: Erfahrungen mit dem Einsatz von Qualitätsstrategien und Qualitätsinstrumenten
Dimension 3. Qualitätsgestaltung und -innovationsfähigkeit (Modifikation des Wissens)
Dimension 4: Qualitätsanalyse
angelehnt an das Modell von Baacke zur Medienkompetenz

Zusammenfassung
S. 50: Eine direkte Einflussnahme auf das Ergeb nis des oödagogischen Prozesses können QMSysteme im Bildungsbereich daher nicht haben. Sie müssen vielmehr auf eine Professionalisierung der am Bildungsprozess beteiligten Akteure- der Lernenden, der LEhrenden und auch der anderen organisationalen Akteure - abzielen."

Reflexion: Ehlers schildert klar die Notwendigkeit der Integration von Stakeholdern in den Evaluationsprozess. Wichtig ist m.E., dass Studierende partizipativ an Evaluationsmassnahmen beteiligt werden und nicht nur als "Datenlieferer" gesehen werden. Dass dieses Konzept schwierig und langwieriger umzusetzen ist als bisherige Konzepte, ist klar. Die gemeinsame Aushandlung von Zielen, Werten und Normen ist nicht einfach, aber dringend notwendig.

Oft wird mit dem Thema Evaluation oft nur der Fragebogen als Evaluationsinstrument ins Spiel gebracht. Dass es durchaus auch anders geht, zeigt das Handbuch von Katrin Seiß: Methodix. Zwar sind die Methoden hauptsächlich auf die Evaluation von Schulunterricht ausgelegt, doch können einzelne Methoden auch sehr gut auf die Hochschule übertragen werden.

Abstract: "Lernveranstaltungen? - ja, denn die vertraute Bezeichnung "Lehrveranstaltung" setzt das falsche Signal. Sprache ist verräterisch, und da in den Veranstaltugne zwar wichtig ist, was alles gelehrt wird, aber im Vordergrund steht, was letztlich von den Studierenden gelernt worden ist, soltle dies begrifflich klarer herausgestellt werden.
Die Bewertung von Lernveranstaltungen (insbesondere durch Studierende) ist in den letzen 10 Jahren sehr ntensiv diskutier worden. Dabei hat der Akzent zunahmend auf der Feststellgn der Qualität des Lehrangebots mit Hilfe von Fragebögen gelegen, d.h tatächslich des "input" an der Lehre - viel zu wenig auf den Studierendne, den Lernumständen und dem Lernergebnis. Diese Debatte um Qualitätsmessung liess eher in den Hintergrund treten, dass Veranstaltugnsfragebögen - im Sinne formativer, prozessoptimierender Evalatuation und damit interner Fortbildung der Lehrenden - vor allem eine Rückmeldefunktion für Lehrende und Lernende haben, für reflektierende Gespräche zwischen beiden. Was bisher weitgehend übersehen wurde: Eine solche Rückmeldung muss anders aussehen als ein Instrument, das nur der Qualitätsmessung dient. Dies wird im nachfolgenden Text diskutiert. Ein erfolgreiches Verfahren wird vorgestellt. Der Aufsatz wendet sich auch an Interessierte, die mit empirischen Sozialforschung nicht eng vertraut sind. "

Quelle: Webler, W-D. (2005). Zur Bewertung von Lernveranstaltungen. In: Das Hochschulwesen, Form für Hochschulforschung, -praxis und -politik. 2/2005, S. 63-70

Guter knapper Überblick über das Thema Lernveranstaltungsevaluation.

Wer kennt es nicht, man möchte eine Umfrage machen, aber man hat nicht alle Software zur Hand. Hier bietet sich students.ch an: 1, 2, 3 .. und deine wissenschaftliche Umfrage steht GRATIS im Netz. Dazu gibts eine umfangreiche Datenauswertung.

Nachteil: Gilt nur für Schweizer Studierende

Die RWTH Aachen hat fast alle Professoren mit der Begründung des Datenschutzes aus Meinprof.de löschen lassen. Die erste öffentliche Evaluation, die meist von den Studierenden ausgeht wird so von einer Hochschule unterbunden. Es kann natürlich nicht sein, dass Dozenten oder Professoren beleidigt wurden. Doch stellt dies eher einen marginalen Teil dar. Die meisten Studierenden sind sehr gut in der Lage, ihren Prof objektiv zu beurteilen. Warum sollte man ihnen nicht ein partizipatives Instrument geben? Auch bei der Evaluation müssen Studierende aktiv mitgestalten können, sollten nicht nur Datenlieferer sein.
Ich dachte eigentlich, die Öffentlichkeit hätte eher erzieherische Wirkung zur Verbesserung der Qualität. Es wird Zeit, dass neben der Qualität der Forschung auch die Qualität der Lehre wieder in den Vordergrund gestellt wird.

Und wer guten Unterricht macht, hat eh nichts zu verbergen, oder?!

Ein Expertenworkshop zum Thema, wie eLearning zur Qualität in der Hochschullehre beitragen kann und wie die in diesem Bereich betriebene Qualitätssicherung als Teil des Qualitätsmanagements einer Hochschule implementiert werden kann, fand am 13. März in Frankfurt statt.

Beiträge der Tagung "Qualitätssicherung im eLearning" finden Sie hier.

Interessant war nochmals der Hinweis auf den "Framework for learning technology" von Friedrich, Hron & Hesse (2001), der Evaluation von eLearning bzw. Medieneinstatz in den Dimensionen Input - Process - Output beleuchtet.