Im Herbst 2008 präsentierte ein Student der Fachhochschule Rapperswil am IML eine einfache Prüfungsapplikation, die aber auf einem ungewöhnlichen Gerät installiert war – dem damals neuen iPhone 1. In ersten Tests zeigte sich, dass die Grösse und Auflösung des Gerätes nicht für die Darstellung der komplexen OSCE-Checklisten geeignet ist.

Die Idee, den bisherigen papierbasierten und fehleranfälligen Prozess der Clinical-Skills (CS) Prüfungen digital zu unterstützen, ist jedoch auf Interesse gestossen. In schneller Abfolge und in enger Zusammenarbeit mit den CS Expert*innen der Abteilung für Assessment und Evaluation (AAE) haben wir in der Folge verschiedene Prototypen von OSCE Applikationen entwickelt und im hauseigenen Usability-Labor untersucht.

Die detaillierte Anforderungsanalyse musste bald von den reinen Software-Spezifikationen auf die Hardware ausgeweitet werden. Es stellte sich nämlich heraus, dass die damals erhältlichen Geräte grösstenteils nicht für den Einsatz während ganztägigen Prüfungen geeignet waren: sich zu schnell entleerende Akkus, spiegelnde Bildschirme, und viele andere Probleme traten mit den verschiedenen Geräteklassen auf. So wurde z.B. ein Laptop im Dauerbetrieb auf der Unterseite so heiss, dass die Testperson Gefahr lief sich die Haut zu verbrennen.

Zu unserem Glück wurde zu dieser Zeit das erste iPad vorgestellt. Bald war uns klar, dass dieses Gerät allen bisher getesteten überlegen war und wir eine Applikation auf dessen Basis entwickeln möchten.

Von 2009 bis 2013 wurde die Entwicklung und Einführung von EOSCE (bzw. seinen Vorläufern) durch das «AAA-SWITCH» Förderprogramm unterstützt. Zusammen mit der Fachhochschule Rapperswil und ihren Entwicklern, sowie verschiedenen Anwendungspartnern (Medizinische Fakultäten von Zürich, Basel und Lausanne, ETH Zürich, Berner Fachhochschule Gesundheit) wurde EOSCE in drei Phasen weiterentwickelt und die Einführung in den Prüfungsprozess vorbereitet.

In der ganzen Entwicklungsphase war uns sehr wichtig, dass die Applikationen eine optimale Usability aufwiesen, also möglichst einfach, effizient und fehlerfrei zu bedienen waren. Davon profitierten insbesondere die Examinatorinnen und Examinatoren, die während der langen Prüfungstage unter grossem Druck stehen und sich auf die Kandidierenden und nicht auf eine Applikation konzentrieren sollen, die sie eigentlich unterstützen soll bei der Bewertung der Kandidierenden.

Die Entwicklung wurde deshalb von einem Team von Usability-Experten des IML (https://www.usability.unibe.ch/) und Rapperswil begleitet, welche konsequent einen User-Centered-Design (UCD) Ansatz verfolgt haben. Jede neue Version wurde zuerst im Usability-Labor und später im Feld mit Examinatoren evaluiert und entsprechend den Erkenntnissen angepasst.

Auch wissenschaftlich wurde das Projekt begleitet. Verschiedene Studien, deren Erkenntnisse auch in wissenschaftlichen Publikationen veröffentlicht wurden, untersuchten verschiedene Aspekte von EOSCE, z.B. das Interaktionsdesign der Benutzeroberfläche, die Benutzung der Applikation und ihre Akzeptanz und die praktischen Effekte des Wechsels von Papier zu elektronischen Prüfungen. Sie führten teilweise zu interessanten Ergebnissen: so sinkt z.B. die kognitive Belastung der Examinator*innen bei der Arbeit mit EOSCE im Vergleich zu papierbasierten Checklisten.

2012 war es dann so weit, dass erste fakultäre Prüfungen in Bern mit EOSCE durchgeführt werden konnten. In der Einführungsphase stiessen wir immer wieder auf unerwartete Probleme. Zum Beispiel war die Abdeckung mit WLAN in den Prüfungsräumen (damals Büros in der Klinik) oft so schlecht, dass wir zuerst mit eigenen WLAN Routern experimentierten und dann EOSCE mit einem vollständigen offline Modus ausrüsteten.

Die Bedienung der damals neuen iPads stiess nicht nur auf Begeisterung. So mussten wir beispielsweise zu Beginn einer Prüfung einen Examinator, der auf der Bewertung mit Papier-Checklisten bestand, überzeugen, das iPad einzusetzen (er hat sich dann am Abend begeistert verabschiedet und meinte, er wolle sich gleich heute noch ein solches Gerät für sich selber kaufen). Innerhalb kurzer Zeit haben sich die Examinatorinnen und Examinatoren an die ungewohnte Touch-Bedienung gewöhnt. Die Ergebnisse der Evaluationen zeigten denn auch, dass die Benutzer*innen die digitale Bewertung mit EOSCE bevorzugen.

Nach der Etablierung von EOSCE an der Medizinischen Fakultät in Bern führten in den darauffolgenden Jahren auch andere Fakultäten in der Schweiz EOSCE ein. Und nicht nur in der Schweiz wurden die Vorteile der digitalen Bewertung erkannt: auch international wurde EOSCE von verschiedenen Institutionen nachgefragt.

Im September 2017 war es dann so weit, dass auch die eidgenössischen Prüfungen Humanmedizin vom papierbasierten Prozess auf EOSCE umgestellt wurden. Weil die Organisation dieser Prüfungen mit fünf verschiedenen Standorten und zwei Sprachen sehr viel komplexer ist als eine fakultäre Prüfung, mussten einzelne Schritte im bestehenden Prozess angepasst werden.

Aber gerade bei dieser Prüfung sind die Vorteile einer digitalen Durchführung zum Vorschein gekommen: die Verteilung der Prüfungen über die 5 Standorte ist mit EOSCE viel einfacher und sicherer; der Ablauf der Prüfung kann zentral mitverfolgt werden; es ist kein Einscannen der Prüfungsbögen mehr nötig und somit kann sofort nach der Prüfung mit der Auswertung begonnen werden.

Seither hat sich EOSCE als Werkzeug sowohl für lokale wie auch für Prüfungen im In- und Ausland etabliert. Nach mehr als 10 Jahren mussten wir aber erkennen, dass die Code-Basis der Applikationen, die oft überarbeitet und erweitert wurde, nicht mehr zeitgemäss ist. Auch werden die Anforderungen der Benutzer*innen immer vielfältiger, so dass wir 2020 entschieden haben, ein komplett neues System zu entwickeln.

Mit «EOSCE Valuatic» ist im Dezember 2021 der Nachfolger von EOSCE veröffentlicht worden. Ein System, dass mehr Freiheitsgrade bei der Prüfungs- und Checklistengestaltung erlaubt und viele neue Funktionen bietet. In ersten Prüfungen hat sich Valuatic als sehr zuverlässig gezeigt und ist mit seinen neuen Möglichkeiten begeistert aufgenommen worden.