Aufgabenautor:innen und Prüfungsautor:innen

Rollen des Prüfungsdesigns und Testen

Rollen des Prüfungsdesigns und Testen

Rolle Aufgabenautor:innen

Inhalt

Diese Rolle ist aktuell noch nicht implementiert auf Exam Moodle. Wir stellen hier das Konzept vor, bei Bedarfsanfragen wird im nächsten Überarbeitungszyklus nach einer Klausurenphase, diese Rollen implementiert. Diese Rolle soll nur eignene Aufgaben bearbeiten können. Dadurch wird erreicht, dass ein einfache Aufgabenautor:innen, die Prüfung einsehen können über die Fragesammlung. Kursleitungen können die erstellten Aufgaben beispielsweise von SHK annehmen und für die eigentliche Klausur modifizieren, um Geheimhaltung der Aufgaben zu verbessern, aber dennoch Aufgabenentwicklung delegieren zu können.

Im folgenden wird die Rolle Aufgabenautor:innen vorgestellt und Anleitungen für die Moodle Funktionen verlinkt.

Fähigkeiten:

Aufgaben:

Präsenzaufsicht:
Fernaufsicht:
Rollen des Prüfungsdesigns und Testen

Rolle Prüfungsdesigner:in

Inhalt

Im folgenden wird die Rolle Prüfungsautor:innen vorgestellt und Anleitungen für die Moodle Funktionen verlinkt.

Fähigkeiten:

Hat alle Rechte der Rolle Aufgabenautor:innen

Aufgaben:

Präsenzaufsicht:
Fernaufsicht:
Rollen des Prüfungsdesigns und Testen

Prüfungstester:in

Inhalt

Im folgenden wird die Rolle Prüfungstester:in vorgestellt und Anleitungen für die Moodle Funktionen verlinkt.

Fähigkeiten:

Aufgaben:

Präsenzaufsicht:
Fernaufsicht:

Anleitungen: Aufgaben, Prüfungsdesign

Anleitungen: Aufgaben, Prüfungsdesign

Erstellte Aufgaben anschauen

Anleitungen: Aufgaben, Prüfungsdesign

Umgang mit Kategorien bzw. "Ich finde die Fragen, die mein Kollege erstellt nicht!"

Aufgaben sollten bestmöglich über die Fragensammlung des Kurses verwaltet werden.
Diese ist zu finden unter dem Zahnrad(im zweifelsfall das obere) -> Fragensammlung -> Kategorien

In diesem Bereich sind schon Fragen für eine Technische Demo und verschiedene Fragetypen vorbereitet.
Zusätzlich ist eine grobe Struktur für die Fachliche Demo und Prüfung vorbereitet.

Sollten Sie fragen innerhalb eines Tests angelegt haben, kann es passieren, dass diese in dieser Ansicht nicht sichtbar sind.

Sollte dies der Fall sein navegieren Sie in den Test und nutzen dieses mal das untere Zahnrad (wieder mit Zahnrad -> Fragensammlung -> Kategorien)

Zu sehen sind nun die Fragen auf Kurs und Test level (markiert mit Test: und Kurs:).


Wählen Sie nun die Fragenkategorie welche Sie von dem Test in den Kurs übertragen möchten (hat Test: im Namen).

Dort wählen Sie die Fragen aus, welche Sie übertragen möchten.
Dann wählen Sie rechts neben dem Verschieben nach >> Button die gewünschte Zielkategorie aus und drücken danach auch den Verschieben nach >> Button.
(Hinweis: Sie sollten die Fragen auf Kursebene übertragen um die Fragen in anderen Tests wiederverwenden zu können. Auf oberster Ebene markiert durch Kurs: "Kursname")

Die Fragen sind nun Erfolgreich in die Zielkategorie verschoben.


Anleitungen: Aufgaben, Prüfungsdesign

How to Fragetyp auswählen

Zusammenfassung

In diesem Abschnitt zeigen wir Ihnen wie Sie die unterschiedlichen Fragentypen zum erstellen von Fragen auswählen können.

Schritt 1

Klicken Sie auf das Zahnrad rechts oben in Ihrem Kurs.

Schritt 2

Navigieren Sie nun zum Reiter "Fragensammlung" und wählen Sie dort die Unterkategrie "Fragen" aus.

Schritt 3

Nun wählen Sie "Neue Frage erstellen" aus.

Schritt 4

Nun können Sie ihren gewünschten Fragentyp auswählen und mit der Erstellung der eigentlichen Aufgabe beginnen.

Weitere Infos zu den unterschiedlichen Aufgabentypen finden Sie in der jeweiligen Beschreibung des Types: Übersicht verfügbarer Aufgabentypen auf Moodle-Exam

Fragenkategorien

Zusammenfassung

Kategorien helfen dabei, Aufgaben in Moodle zu strukturieren. Dies ist nützlich um Aufgaben schnell wieder zu finden und um die Zusammenarbeit mehrerer Personen zu erleichtern. Zudem können sie helfen, Aufgaben gewissen Bereichen wie Probeklausuren oder Prüfungen zuzuordnen, wodurch das Risiko einer versehentlichen Veröffentlichung von Klausuraufgaben umgangen wird. Deshalb ist es wichtig, vor der Aufgabenerstellung aussagekräftige Kategorien zu erstellen.

Schritt 1

Wählen Sie in den Kurseinstellungen unter dem Reiter "Fragensammlung" die Option "Kategorien".

Schritt 2

Wählen Sie eine Kategorie, die Ihrer zu erstellenden Kategorie übergeordnet sein soll (z.B. Prüfungsaufgaben). Geben Sie dann Ihrer Kategorie einen aussagekräftigen Namen. Auf Wunsch können Sie auch eine Beschreibung Ihrer Kategorie hinzufügen.

Schritt 3

Speichern Sie Ihre Kategorie durch drücken des "Kategorie hinzufügen" Buttons am Ende der Seite.

Nächster Schritt: Aufgaben erstellen

Übersicht verfügbarer Aufgabentypen auf Moodle-Exam

Die folgende Tabelle beinhaltet die auf dem Moodle Exam System der TU Darmstadt verfügbaren Aufgabentypen. Die Spalte Schwierigkeit gibt eine subjektive Einschätzung des E-Prüfungsteams an, wie aufwändig die Gestaltung einer Aufgabe des jeweiligen Aufgabentyps sein kann. Die Spalte Etablierung gibt eine subjektive Anwendungshäufigkeit in E-Prüfungen der TU Darmstadt an, um eine Orientierung zu bieten wie allgemein geeignet der Aufgabentyp im Prüfen der Hochschullehre ist. Sofern der Aufgabentyp verlinkt ist, gibt es eine offizielle Dokumentation in den Moodle Docs. Die Sortierung entspricht der Referenzsortierung aus Moodle, die weitestgehend alphabetisch ist. Ebenso ist angegeben, ob der Aufgabentyp bereits im sogenannten Moodle Core System vorhanden ist oder ein zusätzliches Plugin darstellt.

Aufgabentyp Herkunft Schwierigkeit Etablierung Kommentar
Berechnet Core Einfach Kaum Bietet die Möglichkeit, mit Hilfe von Variablen oder Jokerzeichen ({x}, {y}, usw.) eine ganze Klasse von numerischen Fragen zu erstellen. Die Variablen werden im Testversuch mit zufällig generierten Zahlen aus einem vorgegebenen Zahlenbereich belegt.
Berechnete Multiple-Choice Core Einfach Kaum Sind ähnlich wie Multiple-Choice-Fragen mit der zusätzlichen Eigenschaft, dass die Antworten Formeln enthalten können, deren Variable im Testversuch mit Zahlen aus vorgegebenen Zahlenbereichen zufällig belegt werden. Es werden dieselben Variablen verwendet wie in Berechnungsfragen, und diese Variablen können mit anderen berechneten Multiple-Choice-Fragen und anderen Berechnungsfragen geteilt werden.
Drag-and-drop auf Bild Core Einfach Stark Erlaubt die Zuordnung vorgefertigter Antwortelemente (Text/Bild/LaTeX) auf ein Referenzbild.
Drag-and-drop auf Text Core Einfach Kaum Erlaubt die Zuordnung vorgefertigter Antwortelemente (nur Text) auf im Aufgabentext vorgesehene Lücken.
Drag-and-drop-Markierungen Core Einfach Stark Erlaubt punktuelle Markierungen auf einem Referenzbild. Lieg der Ausgewählte Punkt richtig in einem definierten Referenzbereich, wird die Eingabe positiv ausgewertet. Ein Beispiel dazu kann eine Europakarte sein, auf welcher Berlin zu markieren ist. Die Größe des Referenzbereiches gibt an, wie groß die Toleranz ist.

Nur automatisiert auswertbar.
Einfach berechnet Core Einfach Kaum Wie Aufgabentyp Berechnet, mit einfacherer Bedienung.
Freitext Core Einfach Stark Erlaubt Freitext oder HTML Eingaben. Darunter LaTeX und Freihandzeichnungen im Fließtext. Erlaubt bei Bedarf zusätzlich Dateianhänge.

Nicht automatisiert auswertbar.
Kurzantwort Core Einfach Mittel Einzeilige Texteingabe. Erlaubt die Hinterlegung mehrerer Variationen der Antwort.
Lückentext (Cloze) Core Einfach Stark Erlaubt es mehrere Aufgabentypen aus dieser Liste zu kombinieren.
Multiple-Choice Core Einfach Stark Erlaubt Multiple-Choice und Single-Choice Aufgaben.
Musterabgleich mit Java Molecular Editor Plugin Professionell Einzelfälle Bitte nicht verwenden.
Numerisch Core Einfach Kaum Wie image.png Kurzantwort-Fragen. Der einzige Unterschied besteht darin, dass bei numerischen Fragen ein akzeptierter Fehler zulässig ist, d.h. die Teilnehmer/innen müssen nicht die exakte Antwort wissen, es genügt, wenn ihre Antwort innerhalb eines Fehlerintervalls liegt. Wenn z.B. die exakte Lösung 30 lautet und der akzeptierte Fehler 5 ist, dann werden alle Teilnehmereingaben zwischen 25 und 35 als richtig gewertet.
Wahr/Falsch Core Kaum - Bitte durch Multiple-Choice in der Single-Choice Einstellung verwenden.
Zufällige Kurzantwortzuordnung Core - - In Pilotierung.
Zuordnung Core Kaum Kaum Erlaubt ein Menge von Antworten zu definieren und eine Menge von Aussagen. Für jede Aussage ist in der Bearbeitung die Auswahl genau einer der gegebenen Antworten zu tätigen.
Anordnung Plugin? Einfach Kaum Erlaubt das Anordnen von Elementen einer vordefinierten Menge in eine Sequenz. Dieser Aufgabentyp eignet sich zum Beispiel zur Sortierung von historischen Ereignissen nach chronologischer Reihenfolge.
Externer Fragetyp (ETH) Plugin - - Bitte nicht verwenden.
Freihandzeichnen (ETH) Plugin Einfach Kaum Erlaubt Freihandzeichnungen. Diese können optional auf einer zugrundeliegenden Grafik (z.B. eines kartesischen Koordinatensystems) vorgenommen werden.

Im Unterschied zu den Freihandzeichnungen innerhalb des Aufgabentyps Freitext können hier abseits der Zeichnung keine Texte oder Latexeingaben vorgenommen werden.

Nicht automatisiert auswertbar.
Kprime Plugin Einfach Kaum -
Kurzantwort vom Typ regulärer Ausdruck Plugin Professionell Kaum

Ein Aufgabentyp, der flexiblere Antworteingaben erlaubt.

Darunter Antworteingaben, die drei Wörter vorsehen, welche aber in beliebiger Reihenfolge richtig sind.
Dieser Aufgabentyp erfordert eine komplexe programmatischen Syntax und in der Absicht diesen einzusetzen, bitten wir dringend uns zu kontaktieren.
MTF (ETH) Plugin - - In Pilotierung
Multinumerisch - - Kaum In Pilotierung
TUGrade Short answer Plugin Mittel Kaum

Eigenentwicklung der TU Darmstadt. Freitextantworten werden mittels künstlicher Intelligenz vorklassifiziert.

In Pilotierung.

Beispielumsetzungen

Es folgt eine Galerie an Beispielumsetzungen. Viele Beispiele sind so gestaltet, dass diese explizit kein Hochschulwissen voraussetzen, um allgemein verständlich zu bleiben.

Es handelt sich bei den Beispielen um Anregungen zur Abschätzung der Machbarkeit eigener Aufgabenentwürfe für E-Prüfungen und deren Darstellung. Um dies nicht zu unübersichtlich zu gestalten, werden nicht alle Möglichkeiten der jeweiligen Aufgabentypen exemplarisch dargestellt, aber signifikante optionale Potenziale in den jeweiligen Anmerkungen erwähnt. Rechtliche Aspekte werden unberücksichtigt gelassen.

Die Sortierung entspricht der Nutzungshäufigkeit.

Freitext

Freitextaufgaben erlauben die meisten Freiheitsgrade Transferwissen zu prüfen oder zusätzliche Formate zuzulassen. Dieser Aufgabentyp ist demnach der verbreitetste und modifiziert mit Eingabemethoden, die verschiedene Darstellungen oder Notationen verschiedener Disziplinen zulässt.

Beispiel 1: Klassisch

image.png

Anmerkungen:

Beispiel 2: Mit mathematischen Eingaben (LaTeX)

image.png

Der im Editor ersichtliche Text inklusive der leeren mathematischen Terme ist als Antwortvorgabe der Aufgabe hinterlegt. Die dort auszufüllenden Terme können wie in der Aufgabenstellung beschrieben editiert werden. Der MathLive Editor ist aus der Menüleiste mit folgendem Symbol aufrufbar:

image.png

image.png

Anmerkungen:

Beispiel 3: Freihandzeichnungen

image.png

Das in diesem Beispiel sichtbare kartesische Koordinatensystem ist in der Antwortvorlage hinterlegt. Die Hinterlegung einer Antwortvorlage kann ausgelassen werden. Bei der Bearbeitung der Aufgabe wird in einem Zusatzdialog wird ein Editor geöffnet, der an die Handhabung von Gimp oder Microsoft Paint erinnert. Dieses ist in der Menüleiste des Editors unter folgendem Symbol aufrufbar:

image.png

image.png

Anmerkungen:

Lückentext (Cloze)

Dieser Aufgabentyp erlaubt im Wesentlichen die Mischung anderer Aufgabentypen innerhalb des Aufgabentextes und wird demnach sehr häufig verwendet. Somit können unter Anderen Texteingaben, Multiple-Choice, Single-Choice, Eingaben von Zahlen wie in den folgenden Beispielen gezeigt wird kombiniert und komprimiert dargestellt werden.

Anmerkungen:

Beispiel 1: Single Choice

image.png

Beispiel 2: Kurzantwort

image.png

image.png

Beispiel 3: Kurzantwort in Tabelle

image.png

Beispiel 4: Mischung

image.png

Multiple Choice

Anmerkungen:

Beispiel 1: Single Choice

image.png

Beispiel 2: Multiple Choice

image.png

Anmerkungen:

Beispiel 3: Mit LaTeX

image.png

Drag-and-drop-Markierungen

Anmerkungen:

Beispiel 1: Ausfüllen

image.png

Beispiel 2: Erkennen und Markieren

image.png

Drag-and-drop auf Bild

Anmerkungen:

Beispiel 1: Einfach

image.png

Beispiel 2: Konstruktion von Schematiken

image.png

Drag-and-drop auf Text

image.png

Anmerkungen:

Zuordnungsfrage

image.png

Anordnungsfrage

image.png

Wahr/Falsch-Frage

image.png

Anmerkungen:

Einfach Berechnet

image.png

Zwei generierte Beispiele einer einzigen Aufgabe.

Fragetyp Kurzantwort vom Typ regulärer Ausdruck

image.pngDieser Aufgabentyp erlaubt flexiblere Eingaben und ist ähnlich zum Aufgabentyp image.png Kurzantwort. Folgende Antworten werden im zum gegebenen Beispiel als richtig automatisiert ausgewertet.

schwarz, rot, gold
schwarz, rot und gold
schwarz, gold, rot
schwarz, gold und rot
rot, gold, schwarz
rot, gold und schwarz
rot, schwarz, gold
rot, schwarz und gold
gold, schwarz, rot
gold, schwarz und rot
gold, rot, schwarz
gold, rot und schwarz

Allgemeine Frageneinstellungen

Unabhängig davon, welchen Fragetypen Sie auswählen, werden Sie zunächst einige allgemeine Einstellungen vornehmen müssen. Diese sehen Sie in folgender Abbildung:

Einstellungen_allg.jpg

Kategorie

Wählen Sie hier die Kategorie aus, der Ihre Frage zugeordnet werden soll. Wenn es noch keine passende Kategorie gibt, können Sie hier nachlesen, wie Sie eine neue Kategorie erstellen können.

Fragetitel

Geben Sie Ihrer Frage einen aussagekräftigen Titel. Dies hilft Ihnen später, die Frage schnell zu finden. Studierende werden den Titel nicht sehen können. 

Fragetext

An diese Stelle schreiben Sie Ihre Aufgabenstellung. 

Erreichbare Punkte

Stellen Sie hier die maximale Anzahl von Punkten aus, die mit der Aufgabe erreicht werden können.

Allgemeines Feedback

Hier können Sie eine Nachricht für die Studierenden hinterlassen, die Ihnen in der Einsicht angezeigt wird. Beispielsweise können Sie hier die korrekte Lösung der Aufgabe angeben.

Fragentypen

Hier erfahren Sie alles zu den einzelnen Fragentypen

Fragentypen

Multiple-Choice-Fragen

Rechtliches

Seit dem 01.04.2022 gelten für Multiple-Choice-Aufgaben neue Regelungen. Das Dezernat II hat die allgemeine Prüfungsordnung überarbeitet, dabei wurde §23 APB angepasst.

Neue Regelungen

Ab dem Sommersemester 2022 müssen für jede richtige angekreuzte Antwortmöglichkeit bei Multiple-Choice-Fragen Teilpunkte bzw. Punktanteile vergeben werden. Falsche Antworten müssen neutral behandelt werden – Es dürfen keine Punkte abgezogen werden. Zusätzlich muss angegeben werden, wie viele Antwortmöglichkeiten richtig sind. Wenn zu viele Kreuze gesetzt werden, führt das zu 0 Punkten.

Hinweis: Fast alle Formen Multiple-Choice-Aufgaben sind Antwortwahlverfahrensaufgaben. Prinzipiell können Multiple-Choice-Aufgaben auch verwendet werden um komplexe, also zusammengesetzte Antworten, mit einer Art Baukasten aus verschiedenen Teilantworten formulieren zu lassen. Bei letzterem Vorgehen liegt kein Antwortwahlverfahren vor, weil die zutreffende Antwort nicht offen zu sehen ist.

Zusammenfassung

Erstellen von Multiple Choice Aufgaben 

Schritt 1

Zum erstellen einer Aufgabe wählen Sie den Typ Multiple-Choice. Eine Anleitung zur Wahl von Fragetypen finden Sie hier.

Schritt 2

Nehmen Sie zunächst die allgemeinen Frageneinstellungen vor. 

Schritt 3

Als nächstes müssen Sie die Anzahl der setzbaren Kreuze limitieren. Mit dem Einstellungen der Kreuze wird in Aufgabenstellung auch ein Textbaustein eingefügt.
Für Single Choice Aufgaben brauchen Sie die Kreuze nicht zu limitieren, denn Sie können Single Choice im Schritt 4 direkt einstellen.

MC-Editor-erreichen.png

Im MC-Begrenzer kann die Anzahl der Kreuze begrenzt werden. 

MC-Begrenzer.png

Der Textbaustein über die Anzahl der zu setzenden Kreuze in der Aufgabenstellung kann in verschiedenen Sprachkombinationen dargestellt werden.

MC-Textbaustein.png

Beispiel für einen deutsch-englischen Textbaustein.

Die Textbausteine oder auch die Anzahl der Kreuze wird durch erneutes verwenden des MC-Begrenzers aktualisiert.

Schritt 4

mc_allg.jpg

Schritt 5

Antworten.jpg

In jedem der oben abgebildeten Kästen können Sie eine Antwortoption hinterlegen. Diese kann neben reinem Text auch Bilder, Videos etc. beinhalten.



Fragentypen

TUGrade - Textaufgaben mit K.I. Assistenz für Bewertungen und Feedback

Aufgabentyp: TUGrade

TUGrade kurz vorgestellt:
Es ist ein Aufgabentyp, der für freie Textantworten entwickelt worden ist.
Ein K.I. Modell assistiert beim Bewerten und Feedback geben. Das Modell kann Ihnen Antworten liefern auf die gestellte Aufgaben, die Sie verändern können oder direkt als Referenzantwort übernehmen können. Es liefert auf seine eigenen Antworten auch Feedback, was Sie ebenso anpassen können. Das Modell kann mit mehreren Referenzantworten und Beispielfeedbacks trainiert werden.
Was Sie davon haben? Sie bekommen eine zweite Meinung bzw. ein Vorbewertung zu einer Einreichung.

Der Aufgabentyp basiert auf der Masterthesis von Leon Camus. Er entwickelt das Moodle Plugin und den zugehörigen Serverdienst im Rahmen seiner Anstellung an der Hochschuldidaktischen Arbeitsstelle weiter. Wenn Ihnen TUGrade gefällt und weiterentwickelt werden soll, dann sprechen Sie sich in Gremien für eine Sicherung der Finanzierung für Personalkosten und zusätzlicher Hardware aus.

TUGrade Aufgabe anlegen

Gehen Sie in einem Moodle Test in den Reiter Fragen und fügen hier eine Neue Aufgabe hinzu. Oder Sie verwenden die Fragensammelung und erstellen dort einen Neue Frage. Wählen Sie TUGrade Short answer aus.

Abbildung: Auswahl der Aufgabentypen

Kategorie und Fragetitel

Legen Sie Ihre Aufgaben sortiert in Kategorien ab. Das ist nichts Neues.
Der Fragetitel hat keinen Einfluss. Er dient nur der eigenen Sortierung. Die Studierenden werden Titel auch niemals sehen. Wie immer nur interne Verwendung.

Fragetext

Hier wird die Fragestellung oder der Arbeitsauftrag an Studierende bzw. Prüfungsteilnehmende gestellt. Das K.I. Modell verwendet dieses Textfeld nicht. Sie können hier alle Formatierungen anwenden die Sie möchten.

TUGrade Weboberfläche zur Token Generierung

Erreichbare Punkte

Hier werden lediglich die Maximalpunkte angegeben, welche die Aufgabe liefern darf. TUGrade ermittelt einen Prozentsatz für seine Bewertung, der dann mit den Maximalpunkten multipliziert wird.

Raw Question Text

In diesem Textfeld wird die Aufgaben oder Frage dem K.I. Modell gestellt. Diesen Text sehen die Prüfungsteilnehmenden oder Studierenden nicht. Wenn die Aufgabenstellung im Fragetext ein Befehl ist wie beispielsweise: "Nennen Sie die fünf Methoden des X... und erläutern Sie die Unterschiede zwischen den Methoden.", dann kann es durchaus Sinn machen, diese als Frage für die K.I. umzuformulieren oder zusätzlich zu stellen.
Das K.I. Modell kann Formatierungen aktuell Stand Janauar 2024 noch nicht besonders interpretieren, folglich ist der Editor beschränkt, damit die Verarbeitung sichergestellt ist.
Dem K.I. kann im Raw questuin text auch Informationen und Hinweise zur Beantwortung und Bewertung mitgegeben werden. Zusatzinformationen sind nach der Aufgabenstellung zu platzieren. Beispielsweise sind Rechtschreibefehler kein Abwertungsgrund oder die gegebenen Referenzlösungen sind nur Beispiele, aber keine erschöpfenden Antworten.
Es können einzelnen Worte oder Satzteile durch in CAPS-Lock geschriebenes zur genauere Beachtung durch das K.I. Modell erzwungen werden. Es ist Vorherhebung mit denen Texte priorisiert werden. Technisch gesprochen wird jeder Buchstabe mit der Genauigkeit eines Wortes behandelt. Einer Aufgabensteillung/Einreichung/Referenzlösung in TUGrade stehen aktuell 4096 Worte als maximale Länge zur Verfügung bevor es zu Einbrüchen in der Qualität kommt. Warnung extensiver Einsatz von CAPs-Lock Worten bewirkt am Ende nichts oder gar Verschlechterung. Nur wichtige Wörter hervorheben.

Context

Dies Textfeld wird aktuell noch nicht genutzt. In den nächsten Versionen, die im Laufe 2024 erscheinen werden soll das Textfeld Hintergrundwissen zur Aufgabenstellung aufnehmen, damit das K.I. Modell präzisier Antworten und Bewertungsfeedbacks erzeugen kann.
Weitere Bedienelemente wie Drop Zones für Textdokumente oder PDFs werden hinzukommen, um Hintergrundinformationen, Lehrmaterialien und Fachtexte dem K.I. Modell zuzuführen.

TUGrade URL und Token

Die URL https://tugrade.hda.onl beheimatet das Backend des TUGrade Dienstes. Aktuell ist nur dieser Knotenpunkt enthalten.
Es ist ein Token einzugeben. Sie erhalten einen Initialen Token. Generieren Sie auf der Webseite https://tugrade.hda.onl für jede TUGrade Aufgabe einen eigenen Token. Das Modell nutzt dies als Referenz für spezielle Daten, die bezüglich einer bestimmten Aufgabe entstehen.

Die Webseite https://tugrade.hda.onl

Sie erhalten vom E-Prüfungsteam der E-Learning Arbeitsgruppe oder von einem Ihrer Kollegen aus Ihrer Arbeitsgruppe oder Fachgruppe einen Token/Key. Normalerweise sind an Sie weitergegebene Token/Key berechtigt ist neue Token/Key zu erzeugen, dann wirde diese Webseite für Sie interessant: https://tugrade.hda.onl/ Geben Sie Ihren initialen Key an und erzeugen Sie für jede TUGrade Aufgabe einen frischen Token/Key, damit das Modell Eingaben so zusagen Daten und Texte unter diesem Token zuordnet und dadurch bessere Leistung liefert bezüglich der gestellten Aufgabe.

Wenn Sie TUGRade für einen Kollegen zugänglich machen wollen, dann verwenden Sie Ihren Initialen Key und stellen den Key auf den Namen Ihres Kollegen aus und überreichen den Key.

Abbildung: https://tugrade.hda.onl/ Webseite

Spielregeln:

Ausbau der Webseite Die Webseite ist noch im Aufbau. Es sind Erweiterungen in Planung. Beispielsweise ist bei der Ausstellung der Key eingeplant mehr Formularfelder vorzusehen wie Besitzer und Verwendung zu trennen. Optional eine Emailadresse des Besitzers anzugeben oder des Ausstellers.
Unter Angabe eines Keys sich anzeigen zu lassen, welche Keys mit dem eigenen Key ausgestellt wurden samt der Details. Ein Auslastungsmonitor könnte hier platziert werden.

Mit der Anwendung des Dienstes werden weitere Ideen für die Webseite entstehen.

Antworten

Im Bereich der Antworten wird das K.I. Modell sozusagen auf die Aufgabe oder Frage eingestellt.
In denTextfeldern Answer ist mindestens eine Referenzantworten zu geben, die sehr gut ist - also zwischen 90% und 100% liegt. Sie dürfen gerne weitere Referenzantworten liefern, das kann sich positiv auswirken, wenn es mehrere Lösungsansätze gibt. Bei gänzlich offenen Aufgaben mit sehr vielen validen Lösungen, die sich stark unterscheiden können mehrere Referenzantworten auch wieder einschränkend wirken. Ist eine Gute Idee ein wenig zu experimentieren.

Mit den Reason for Grading Textfeldern formulieren Sie Begründung für die Bewertung passend zur Antwort. Erwähnen Sie was Sie gut fanden oder positiv in die Bewertung eingeht und erwähnen Sie was zu Abzügen führt oder ungenau war. TUGrade kann sowohl mit positivem Feedback wie auch negativem Feedback umgehen. Ideal wäre es sowohl positives wie auch negatives Feedback festzuhalten, damit das Modell ausgewogen bewerteten lernt.

Mit Bewertung stellen Sie die Qualität der Referenzantwort ein.

Sie können mit dem Knopf Autofill Reference eine studentische Einreichung erstellen lassen bzw. simulieren. Das K.I. Modell versucht eine möglichst gute Einreichung nahe den 100% zu produzieren. Danach nimmt TUGrade eine Bewertung der Einreichung vor und verfasst ein Feedback. Sie können beide Texte abändern bis Sie zufrieden sind und an das K.I. Modell absenden.

Was haben wir geschaffen?

Die studentischen Einreichungen mit TUGrade gelesen und dabei bewertet. Die Bewertung wird nächsten Schritt mit einem Feedback ausgestattet. Mit Bewertung jeder einzelnen TUGrade Einreichung ist nun ein individuelles Feedback geschaffen worden. Sie können nun die Bewertung heranziehen zum Vergleich mit Ihrer eigenen Bewertung. Sie können die Begründung von TUGrade als Grundlage für Ihre eigene Begründung nutzen oder eben als Zweitkorrektor wiedersprechen und manuell Punkte vergeben.
Wenn Sie einen eigenen Kommentar verfassen, dann wird dieser Kommentar an TUGrade übermittelt und wird bei der bisherigen Bewertung berücksichtigt.

Mehr Details zur Bewertung im Manual Bewertungspersonal. TODO Textseite

Fragentypen

Multinumerical Fragen

Doku auf moodle.org

Beispiel Aufgaben

Beispiel Aufgaben

Multiple-Choice-Beispiele

Beispiele Nun möchten wir Ihnen einige Beispiele vorstellen, wie man eine MC-Frage erstellen kann. Erstes Beispiel : [TODO Thema: Vorschlag technische Mechanik Lagerreaktion ] [M.Sc. Boarding Exam for AE, MB -> Technische Mechanik Sose 2022 – deu -> FKB DE, Gleichgewichtsbedingungen in Y-Richtung DE] Einstellungen:

Mischen an Durchnummerierung aus MC Beiinformationen: Sprungmarke: Beispiel: MC mit Bilder, Zeichnungen, Formeln Videospur: technische Mechanik Aufgaben aus FB 16 Zulassungsprüfung Bilder von richtigen und falschen Freikörperbilder einfügen LaTex von Gleichgewichtsbedingungen einfügen (richtige und falsche) Zahlenwerte als Ergebnisse einfügen (richtige und falsche -> Av=…) [TODO: inhalte vorbereiten] In diesem Beispiel sind verschiedene Skizzen, Thesen und Berechnungsmodelle angegeben, von denen die richtigen auszuwählen sind. Wie Sie sehen, ist es nicht immer ästhetisch die Antwortoptionen zu mischen. Trotzdem ist es sinnvoll die Antworten zu mischen. Wir fügen nun das Java Script und stellen dieses ein. Hinweis: die Materialien vorzubereiten ist nicht alleine in Moodle möglich. Nutzen Sie für Bilder nach Möglichkeit PNG, SVG für Bilder mit Text, Graphen, Diagramm oder Ähnliches. Nutzen Sie JPG ausschließlich für Fotos oder Ähnliches – keine Schrift! Hinweis die Zahlenwerte können durch den Aufgabentyp: berechnetes MC automatisiert geändert werden! Das ist nachhaltiges Vorgehen insbesondere, wenn die Materialien aufwendig waren.

Zweites Beispiel: Antwort aus Baukasten zusammensetzen Beiinformatioen: Sprungmarke: MC-Aufgabe als nicht Antwortwahlverfahrensaufgabe einsetzen – Baukasten Videospur: Frage wird erstellt Einstellungen:

Mischen an Durchnummerierung aus MC Keine Angabe über die setzenden Kreuze stattdessen ein Hinweis auf Begrenzung der Kreuze auf X. Hinweis geben: Kein Antwortwahlverfahren, Punktabzug bei falschen Kreuzen (z.B. 1 Punkte pro richtiges und 0,5P Abzug pro falsches -> TODO Etwas passendes ausdenken Aufgabe: wählen Sie alle Faktoren des Terms aus. [TODO: Beispiel aussuchen z.B. https://moodle-exam.tu-darmstadt.de/question/question.php?returnurl=%2Fquestion%2Fedit.php%3Fcourseid%3D189%26cat%3D9046%252C66644%26recurse%3D0%26showhidden%3D0%26qbshowtext%3D0&courseid=189&id=36220] Da können ein paar Kräfte verbaut werden, Faktoren a,b, sin(alpha), cos(alpha), (a+b), (a-b), ein paar Faktoren als Nenner 1/a, 1/b, 1/(a+b), 1/(a-b) usw.] [Zu finden in Batcave -> Gute Beispiele für Aufgabentypen -> Momentengleichgewicht (de + eng)] Bei Baukastenaufgaben sind unbedingt klare Handlungsanweisungen zu geben, sonst ist wird für eine Bewertung eine manuelle Auswertung notwendig. Beispielsweise: Wenn Klammern in math Ausdrücke nicht notwendig sind, dann sollen diese nicht gewählt werden. Wenn es eine Wahl gibt mehrere Antwortoptionen zu wählen, die das gleiche modellieren, dann ist die linke oder erste Option zu wählen. Hier ist es nicht notwendig Anzahl der Kreuze anzugeben, weil die Antwort zusammengebaut werden muss. Begrenzung der Kreuze ist sinnvoll. Vorschlag ein Kreuz mehr zulassen notwendig. Die falschen Kreuze können mit wenigen negativen Punkte belegt werden. Das klappt bei jeder Form von Term. Bei logischen Ausdrücken kann das auch klappen. Wenn viele Terme für eine Summe gebraucht, dann macht es Sinn mehrere dieser Aufgaben nacheinander zu stellen. Es kann nützlich sein, dass das Mischen ausgeschaltet ist, wenn die Reihenfolge der Wahloptionen erhalten bleibt, dann können auch Summenformeln in einer Aufgabe zusammengeklickt werden. [TODO: kurze Sequenz zeigen. Z.B. Momentengleichgewicht M_A : 0 = [x]- [x]a [ ] b [ ]/ [ ]( [ ]a [ ]b [ ]+ [ ]- [ ]a [ ] b [ ]) [ ]+ [ ]- [x]sin(alpha) [ ]cos(alpha) [ ] tan(alpha) [x] F [ ]A_V [ ]A_H [ ] B [x]+ [ ]- [x]a [ ] b [ ]/ [ ]( [ ]a [ ]b [x]+ [ ]- [ ]a [x] b [ ]) [ ]+ [ ]- A_V [ ]A_H [x] B [x]

Drittes Beispiel: Programmcode Beiinformationen: Videospur: Frage wird erstellt Sprungmarke: Prozessablauf durch MC abfragen Einstellungen:

Mischen aus Durchnummerierung an MC Aufgabe wählen Sie die Programmzeilen für ein Programm das folgende Aufgabe löst: [TODO: (Sortierer bieten sich glaub ich 2 Schleifen, Vergleich und ein paar Checker vorm Algo)] [public static void selectionSort(int[] array) { for (int i = 0; i < array.length; i++) { int min = array[i]; int minId = i; for (int j = i+1; j < array.length; j++) { if (array[j] < min) { min = array[j]; minId = j; } } // swapping int temp = array[i]; array[i] = min; array[minId] = temp; } }] In die Antwortoptionen werden die notwendigen richtigen Zeilen in korrekter Reihenfolge eingefügt. Dazwischen werden plausible falsche Zeilen gepackt. Das können beispielsweise falsche Zeilenvarianten sein bezüglich des Vergleichs oder Zählung oder ähnliches. Das lässt sich auch auf Berechnungen bzw. Umformungen von mathematischen Ausdrücken anwenden. Aufgabenstellungen über das Beschreiben von Prozessen in mehreren Schritten, kann so vorgegangen werden. Negativ Beispiel 1: schlechte Auswahloptionen Beiinformationen: Videospur: Frage wird erstellt Sprungmarke: schlechte Auswahloptionen Nun haben wir auch noch ein paar Negativ-Beispiels vorbereitet. Hier sehen Sie, dass die Anzahl der zu setzenden Kreuze nicht angeben wurde, die Antwortmöglichkeiten sehr einfach sind und eine Antwortmöglichkeit nichts mit den anderen Antwortmöglichkeiten zu tun hat. Negativ Beispiel 2: negative Punkte Beiinformationen: Videospur: Frage wird erstellt Sprungmarke: negative Punkte Hier sehen Sie, dass negative Punkte vergeben werden, wenn eine falsche Antwortoption ausgewählt wird. Dies ist nach der allgemeinen Prüfungsordnung nicht zulässig.

Negativ Beispiel 3: schlechte Bilder Im letzten Negativ-Beispiel sehen Sie, dass die richtigen Antwortmöglichkeiten sehr ähnlich sind und die falschen nichts mit der Frage zu tun haben. Dies ist nicht empfehlenswert, da es die Beantwortung der Fragen sehr einfach macht.

Berechnete MC Beiinformationen: Videospur: berechnete_mc_bild.png zeigen Sprungmarke: Berechnete MC Falls Sie nur Berechnungen in Ihrer MC-Frage abfragen möchten, können Sie auch den Fragentyp „berechnete Multiple-Choice“ verwenden. Dafür hinterlegen Sie Formeln mit Platzhaltern als Antwortmöglichkeiten. Moodle setzt dann für diese Platzhalter Zahlenwerte ein, welche in einem Rahmen randomisiert werden können. Hierdurch sie viele Varianten bei Ihren berechneten MC-Fragen erzeugen können. Sie können auch Relationen oder Operatoren in Ihren Gleichungen vertauschen.

Variieren von MC Aufgaben Beiinformationen: Videospur: Kategorie hinzufügen zeigen Sprungmarke: Variieren von MC Aufgaben Einige Tipps zum Variieren der Antwortmöglichkeiten bei normalen MC-Fragen ist es Aussagen zu negieren oder ähnliche Aussagen zu verwenden. Wenn Sie Aufgaben variieren, sollten Sie diese in einer Kategorie ablegen, falls Sie diese als Zufallsaufgaben benutzen möchten. (Kurz den Klickweg zeigen wo die Kategorien zu finden sind. Eine Kategorie anlegen und eine Aufgabe verschieben.) Benennen Sie die Kategorie am Besten so: Klausur - Technische Mechanik 2 - Wise 2021/2022 - 12.3.2022 – Aufgabe 4 - Zufallsaufgaben Zufallsaufgaben werden genauer in einem anderen Video erklärt. Diese Aufgaben lassen Sie eine Kategorie auswählen aus welcher Fragen zufällig in der Prüfung ausgewählt werden.

How To: externe Dokumente in Klausuren sinnvoll einbinden [Work in Progress]

In Klausuren Materialien zu Verfügung stellen

Es gibt immer wieder den Fall, das Dozenten gerne Vorlesungsmaterialien (vorwiegend Pdf) gerne in der Prüfung zu Verfügung stellen wollen. Von Vorlesungsfolien und Formelsammlungen bis zu eigenen Notizen bereitstellen ohne Papier verwenden zu müssen, klingt an sich schon sehr verheißungsvoll. Jedoch gibt es auch sachen zu beachten. Disclaimer:

Am besten ist dies, wenn man im Exam Moodle die Pdfs hochlädt. Dafür wäre die Empfehlung diese Dokumente auch in die Prüfungskachel zu legen.

Step 1: Aktivität anlegen

Disklaimer: Verzeichnisse mit Dokumenten zur Prüfung entweder unter Allgemeines am Anfang des Kurses anlegen oder im Prüfungs-Tab selbst

Nun muss man den Kurs bearbeiten.Dafür oben rechts auf den Bearbeitungsbutten klicken und damit sollte man nun Aktivitäten oder Materialien anlegen können:

Bild_Verzeichnisse_anlegen_12.png

Nun legen wir die neue Aktivität an und wählen unter den Optionen Verzeichnis aus. Nun müssen wir den Namen dafür festlegen am Besten einen eindeutigen.

Bild_Verzeichnisse_anlegen_13.png

Jetzt auf das Plus klicken und folgendes Fenster sollte erscheinen:

Bild_Verzeichnisse_anlegen_14.png

Hier nun auf das rotumrandetet Verzeichnis klicken. Nun geht es darum einen Inhalt in dieses Verzeichnis einzupflegen. Jedes Dokument muss man hierfür leider einzeln einfügen (dies ist eine Beschrenkung vom Moodle). Wenn alle Dokumente in dem Vereichnis geladen sind, sollte dies so aussehen:Bild_Verzeichnisse_anlegen_04.png

Wenn alles soweit stimmt können wir nun endlich anfangen in der Prüfung selbst zu arbeiten.

Step 2: Aktivität in der Prüfung verlinken

Nun wollen die ja eigendlich die Dokumente in der Prüfung verlinken und nicht im Moodlekurs. Also warum nicht gleich in den Moodlekurs rein stecken. Die einfache Antwort: SEB und Konsistenz! Wenn die den Studierenden vorher Zugriff auf die Dokumente geben wollen und dies auch schon im Kurs tuen, warum nicht auch sauber in der Klausur anzeigbar machen. Der SEB kann am besten mit Verlinkungen auf Verzeichnisse umgehen, diese Information haben wir durch mehere Tests auch unter Prüfungsbedingungen erprobt.

Nun müssen wir den Link auch in die Klausur einpflegen. Hierfür erstellen wir ein Infofeld in der Klausur und tragen dort wie gewohnt die Informationen betreffend zur Prüfung ein. Für Informationen was genau in der Prüfungsinformation enthalten sein muss, übersteigt den Zweck dieses Dokumentes.

Wenn nun ein Entsprechendes Feld vorhanden ist sollte dies so aussehen:Bild_Verzeichnisse_anlegen_10.png

Dem Wort auf dem der Link zum Verzeichnis liegen soll ist dabei nicht relevant. Zu Demonstrationszwecken nennen wir ihn hier Verzeichnis. Nun markieren wir das Wort und drücken auf das Symbol das aussieht wie eine Kette (hier Rot umrandet): Bild_Verzeichnisse_anlegen_15.png

Disclaimer: Hier wird das Fenster (was sich darauf hin öffen wird) im Blanko Modus dagestellt, da man auch nicht unbedingt ein Wort vorher eingeben muss. Jedoch wird zur Strukturgebung dazu empfohlen

Bild_Verzeichnisse_anlegen_08.png

Bitte um unser aller Mentaler Gesundheit einfach nur den Link dort in das URL eingeben Fenster kopieren. NICHT DIE REPOSITORIES DURCHSUCHEN!

Wenn dies getan wurde sieht das Fenster so aus:

Bild_Verzeichnisse_anlegen_11.png

Es ist auch nicht unbedingt sinnvoll manche Dokumente die Prüfungsspezifisch sind im vorhinein allen sichtbar zu machen. Dies kann man erziehlen mit optionen wie einen Bereich für Prüfungsteilnehmer zu verbergen und auf diesen Bereich zu verlinken, dass Repository zu nutzen oder den Inhaltspeicher zu verwenden.

Immer daran Denken den Harken zu setzen um das Verzeichnis. Dadurch wird es für die Studierenden in der Prüfung leichter damit zu arbeiten und die Unterlagen werden in der Prüfung aktiver benutzt.

Nun sind die Unterlagen auch in der Prüfung verfügbar.

Für Dokumente aus zum Beispiel anderen Moodleeinheiten wie dem TU Moodle oder den Informatik Moodle der TU zu Importieren ist durchaus auch möglich über die Identische Methode. Jedoch erfordert mehr Aufwand im SEB und dessen Config, sowie Whitelisting.

Step 3: Einzelne Dokumente in der Klausur verlinken

Es ist durchaus möglich einzelne Datein in Moodle in die Klausur zu Importieren. Dies kann über meherer Methoden erziehlt werden. Eine dieser Methoden ist die Verzeichnis Speicherung wie oben beschrieben. Die andere Option folgt hier.

Auch hierbei immer daran denken den Harken für in einem neuen Fester. Dies sorgt für Benutzerfreudlichkeit.

Step 3.2: Inhaltspeicher

Um mit dem Inhaltspeicher arbeiten zu können müssen wir auf die Startseite des Kurses zurück kehren. Nun müssen wir auf den Mehr Tab und dort wird nun auch der Inhaltspeicher angezeigt. Referenz Bild: Bild_Verzeichnisse_anlegen_16.png

Wenn man auf den Inhaltspeicher drückt kommt man auf folgende Ansicht:

Bild_Verzeichnisse_anlegen_17.png Bedauerlicherweise kann sind dort nur h5p als Dateiformat akzeptiert, weshalb ohne einen entsprechenden h5p reader es nicht sinnvoll ist, diese Option zu benutzen. Da im Moment wir für diesen Service kein neues Plug-In schreiben oder installieren können, ist diese Option erstmal nicht nutzbar für unsere Zwecke (Stand: Mai 2024).

SEB

Nun kommen wir zum Interessanten Teil des ganzen dem SEB (Save Exam Browser) und dem Spiel wie eine Integration in die Prüfung sauber eingepfelgt umgesetzt werden kann.

Achtung siehe Mail zur besseren Strukturierung

bold
italic
bold + italic
strike through

Digitale Barrierefreiheit und Gestaltung

Rollen: Prüfungsdesigner:in, Prüfer:in, Assistent:in und Support

Digitale Barrierefreiheit

Die digitale Barrierefreiheit umfasst:

Diese Themen sind in der Sammlung für digitale Barrierefreiheit zusammengefasst.