TUGrade - Textaufgaben mit K.I. Assistenz für Bewertungen und Feedback

Aufgabentyp: TUGrade

TUGrade kurz vorgestellt:
Es ist ein Aufgabentyp, der für freie Textantworten entwickelt worden.
Ein K.I. Modell assistiert beim Bewerten und Feedback geben.
Das Modell kann Ihnen Antworten liefern auf die gestellte Aufgaben, die Sie verändern können oder direkt als Referenzantwort übernehmen können. Es liefert auf seine Antwort auch ein Feedback, was Sie ebenso anpassen können. Das Modell kann mit mehreren Referenzantworten und Beispielfeedbacks lernen.
Was Sie davon haben? Sie bekommen eine zweite Meinung zu einer Einreichung, die mit ca. 30 Worten pro Sekunde geschrieben wird (sobald eine Grafikkarte auf dem Serverrechner frei ist).

Der Aufgabentyp basiert auf der Masterthesis von Leon Camus. Er pflegt und wartet den Aufgabentyp und dessen Backend aktuell ehrenamtlich. Wenn Ihnen TUGrade gefällt und weiterentwickelt werden soll, dann sprechen Sie sich gegenüber dem Präsidium, der HDA-Leitung und in den Gremien positiv darüber aus, so dass die Weiterentwicklung durch eine Stelle und zusätzlicher Hardware gesichert wird.

TUGrade Aufgabe anlegen

Gehen Sie in einem Moodle Test in den Reiter Fragen und fügen hier eine Neue Aufgabe hinzu. Oder Sie verwenden die Fragensammelung und erstellen dort einen Neue Frage. Wählen Sie TUGrade Short answer aus.

Abbildung: Auswahl der Aufgabentypen

Kategorie und Fragetitel

Legen Sie Ihre Aufgaben sortiert in Kategorien ab. Das ist nichts Neues.
Der Fragetitel hat keinen Einfluss. Er dient nur der eigenen Sortierung. Die Studierenden werden Titel auch niemals sehen. Wie immer nur interne Verwendung.

Fragetext

Hier wird die Fragestellung oder der Arbeitsauftrag an Studierende bzw. Prüfungsteilnehmende gestellt. Das K.I. Modell verwendet dieses Textfeld nicht. Sie können hier alle Formatierungen anwenden die Sie möchten.

TUGrade Weboberfläche zur Token Generierung

Erreichbare Punkte

Hier werden lediglich die Maximalpunkte angegeben, welche die Aufgabe liefern darf. TUGrade ermittelt einen Prozentsatz für seine Bewertung, der dann mit den Maximalpunkten multipliziert wird.

Raw Question Text

In diesem Textfeld wird die Aufgaben oder Frage dem K.I. Modell gestellt. Diesen Text sehen die Prüfungsteilnehmenden oder Studierenden nicht. Wenn die Aufgabenstellung im Fragetext ein Befehl ist wie beispielsweise: "Nennen Sie die fünf Methoden des X... und erläutern Sie die Unterschiede zwischen den Methoden.", dann kann es durchaus Sinn machen, diese als Frage für die K.I. umzuformulieren oder zusätzlich zu stellen.
Das K.I. Modell kann Formatierungen aktuell Stand Janauar 2024 noch nicht besonders interpretieren, folglich ist der Editor beschränkt, damit die Verarbeitung sichergestellt ist.
Dem K.I. kann im Raw questuin text auch Informationen und Hinweise zur Beantwortung und Bewertung mitgegeben werden. Zusatzinformationen sind nach der Aufgabenstellung zu platzieren. Beispielsweise sind Rechtschreibefehler kein Abwertungsgrund oder die gegebenen Referenzlösungen sind nur Beispiele, aber keine erschöpfenden Antworten.
Es können einzelnen Worte oder Satzteile durch in CAPS-Lock geschriebenes zur genauere Beachtung durch das K.I. Modell erzwungen werden. Es ist Vorherhebung mit denen Texte priorisiert werden. Technisch gesprochen wird jeder Buchstabe mit der Genauigkeit eines Wortes behandelt. Einer Aufgabensteillung/Einreichung/Referenzlösung in TUGrade stehen aktuell 4096 Worte als maximale Länge zur Verfügung bevor es zu Einbrüchen in der Qualität kommt. Warnung extensiver Einsatz von CAPs-Lock Worten bewirkt am Ende nichts oder gar Verschlechterung. Nur wichtige Wörter hervorheben.

Context

Dies Textfeld wird aktuell noch nicht genutzt. In den nächsten Versionen, die im Laufe 2024 erscheinen werden soll das Textfeld Hintergrundwissen zur Aufgabenstellung aufnehmen, damit das K.I. Modell präzisier Antworten und Bewertungsfeedbacks erzeugen kann.
Weitere Bedienelemente wie Drop Zones für Textdokumente oder PDFs werden hinzukommen, um Hintergrundinformationen, Lehrmaterialien und Fachtexte dem K.I. Modell zuzuführen.

TUGrade URL und Token

Die URL https://tugrade.hda.onl beheimatet das Backend des TUGrade Dienstes. Aktuell ist nur dieser Knotenpunkt enthalten.
Es ist ein Token einzugeben. Sie erhalten einen Initialen Token. Generieren Sie auf der Webseite https://tugrade.hda.onl für jede TUGrade Aufgabe einen eigenen Token. Das Modell nutzt dies als Referenz für spezielle Daten, die bezüglich einer bestimmten Aufgabe entstehen.

Die Webseite https://tugrade.hda.onl

Sie erhalten vom E-Prüfungsteam der E-Learning Arbeitsgruppe oder von einem Ihrer Kollegen aus Ihrer Arbeitsgruppe oder Fachgruppe einen Token/Key. Normalerweise sind an Sie weitergegebene Token/Key berechtigt ist neue Token/Key zu erzeugen, dann wirde diese Webseite für Sie interessant: https://tugrade.hda.onl/ Geben Sie Ihren initialen Key an und erzeugen Sie für jede TUGrade Aufgabe einen frischen Token/Key, damit das Modell Eingaben so zusagen Daten und Texte unter diesem Token zuordnet und dadurch bessere Leistung liefert bezüglich der gestellten Aufgabe.

• Your Key: ist ihr Initialer Key/Token
• The Owner of the new Key: hier tragen Sie Ihren Namen ein und für welche Aufgabe der Key vorgesehen ist.
• Should be able to create Keys: bleibt aus für Key / Token die für Aufgaben bestimmt sind.

Wenn Sie TUGRade für einen Kollegen zugänglich machen wollen, dann verwenden Sie Ihren Initialen Key und stellen den Key auf den Namen Ihres Kollegen aus und überreichen den Key.

Abbildung: https://tugrade.hda.onl/ Webseite

Spielregeln:

• Die Hardware für TUGRade ist zwar recht schnell, aber läßt noch nicht viel parallelen Betrieb zu. Das Experimentieren mit Aufgaben und deren Variation ist kein Problem, wenn Sie paar Minuten mal ein Experiment starten.
• Die TUGRade Aufgaben für Demoaufgaben zu verwenden ist heikler. Für kleine Kurse oder Prüfungen mit weniger als 50 Teilnehmenden ist das ok, wenn die Demoklausur abends zwischen 20Uhr und morgens 8Uhr zugänglich ist. Begrenzen Sie die Versuche der Demoklausur auf eine gewisse Anzahl. Lagern Sie die TUGrade Aufgaben am besten in einen eigenen Moodle-Test aus, um besser steuern zu können, wann die Aufgaben zugänglich sein sollen. Bei größeren Kursen ist der Ablauf von Demoaufgaben abzusprechen mit der E-Learning Arbeitsgruppe, damit die Auslastung beobachtet werden kann.
• Wenn sich herausstellt, dass bestimmte Aufgaben zu einer Art Blockade führen, wegen übertrieben starker Benutzung, dann werden die Key/Token deaktiviert, bis der Vorfall geklärt. Möglicherweise ist TUGrade mißbräuchlich überlastet worden oder es ist alles ok, aber die Hardware reicht nicht mehr aus.

Ausbau der Webseite Die Webseite ist noch im Aufbau. Es sind Erweiterungen in Planung. Beispielsweise ist bei der Ausstellung der Key eingeplant mehr Formularfelder vorzusehen wie Besitzer und Verwendung zu trennen. Optional eine Emailadresse des Besitzers anzugeben oder des Ausstellers.
Unter Angabe eines Keys sich anzeigen zu lassen, welche Keys mit dem eigenen Key ausgestellt wurden samt der Details. Ein Auslastungsmonitor könnte hier platziert werden.

Mit der Anwendung des Dienstes werden weitere Ideen für die Webseite entstehen.

Antworten

Im Bereich der Antworten wird das K.I. Modell sozusagen auf die Aufgabe oder Frage eingestellt.
In denTextfeldern Answer ist mindestens eine Referenzantworten zu geben, die sehr gut ist - also zwischen 90% und 100% liegt. Sie dürfen gerne weitere Referenzantworten liefern, das kann sich positiv auswirken, wenn es mehrere Lösungsansätze gibt. Bei gänzlich offenen Aufgaben mit sehr vielen validen Lösungen, die sich stark unterscheiden können mehrere Referenzantworten auch wieder einschränkend wirken. Ist eine Gute Idee ein wenig zu experimentieren.

Mit den Reason for Grading Textfeldern formulieren Sie Begründung für die Bewertung passend zur Antwort. Erwähnen Sie was Sie gut fanden oder positiv in die Bewertung eingeht und erwähnen Sie was zu Abzügen führt oder ungenau war. TUGrade kann sowohl mit positivem Feedback wie auch negativem Feedback umgehen. Ideal wäre es sowohl positives wie auch negatives Feedback festzuhalten, damit das Modell ausgewogen bewerteten lernt.

Mit Bewertung stellen Sie die Qualität der Referenzantwort ein.

Sie können mit dem Knopf Autofill Reference eine studentische Einreichung erstellen lassen bzw. simulieren. Das K.I. Modell versucht eine möglichst gute Einreichung nahe den 100% zu produzieren. Danach nimmt TUGrade eine Bewertung der Einreichung vor und verfasst ein Feedback. Sie können beide Texte abändern bis Sie zufrieden sind und an das K.I. Modell absenden.

Was haben wir geschaffen?

Die studentischen Einreichungen mit TUGrade gelesen und dabei bewertet. Die Bewertung wird nächsten Schritt mit einem Feedback ausgestattet. Mit Bewertung jeder einzelnen TUGrade Einreichung ist nun ein individuelles Feedback geschaffen worden. Sie können nun die Bewertung heranziehen zum Vergleich mit Ihrer eigenen Bewertung. Sie können die Begründung von TUGrade als Grundlage für Ihre eigene Begründung nutzen oder eben als Zweitkorrektor wiedersprechen und manuell Punkte vergeben.
Wenn Sie einen eigenen Kommentar verfassen, dann wird dieser Kommentar an TUGrade übermittelt und wird bei der bisherigen Bewertung berücksichtigt.

Mehr Details zur Bewertung im Manual Bewertungspersonal. TODO Textseite