Evaluation Bundesbot

Dieses Projekt liefert Ideen für eine automatische Auswertung einer Instanz des ITZBund-Chatbots (auch Bundesbot genannt, siehe z.B. https://www.itzbund.de/DE/itloesungen/standardloesungen/chatbots/chatbots.html). Es sollte als Proof-of-Concept betrachtet werden und eine Vorlage für andere liefern, die mit einem ähnlichen Problem betraut sind. In diesem Projekt verwenden wir ein großes Sprachmodell (LLM), um Fragen zu generieren, die an den Chatbot gesendet werden könnten. Die neu generierten Fragen umfassen Variationen der vordefinierten Fragen mit oder ohne Tippfehler, Übersetzungen und neue Fragen zu einem bestimmten Thema. Die Antworten werden über die API des Chatbot abgerufen und mit den vordefinierte Antworten verglichen. Zusätzlich wird das LLM verwendet, um anhand einer Punktzahl zwischen 1 und 3 zu bewertenm, ob die Antwort eine gültige Reaktion auf die Frage ist.