Microsoft Skill Recorder: Bildschirmarbeit in KI-Skills wandeln

Microsoft hat den Skill Recorder veröffentlicht – ein System, das manuelle Arbeitsabläufe am Rechner in wiederverwendbare Fähigkeiten für KI-Agenten übersetzt. Das Konzept folgt einem „Show and Tell“-Ansatz: Nutzer führen eine Aufgabe einmalig aus, während die Anwendung sämtliche Interaktionen protokolliert.

Der Skill Recorder erfasst neben dem Bildschirminhalt auch Fensterwechsel, besuchte Webseiten, den Zwischenspeicher sowie optionale Sprachkommentare. GitHub Copilot wertet diese Daten anschließend aus. Die KI rekonstruiert das Ziel der Handlung, definiert die notwendige Abfolge der Schritte und erstellt daraus eine Dokumentation sowie die fertige Automatisierung.

Funktionsweise und Integration

Der Microsoft Skill Recorder ersetzt starre Klickfolgen durch belastbare Werkzeuge. Wo möglich, nutzt das System APIs, CLI-Befehle oder Plattformfunktionen, um Aufgaben künftig autonom zu erledigen. Ein praxisnahes Einsatzszenario ist die Bearbeitung von GitHub Issues: Zeigt ein Entwickler einmal den Prozess für ein spezifisches Ticket, lässt sich der daraus resultierende Skill auf die Massenbearbeitung ähnlicher Vorgänge anwenden.

Aktuell unterstützt das Tool die Erstellung von Skills für folgende Systeme:

• Microsoft Scout
• Copilot Cowork
• Copilot Studio

Installation und Datenschutz

Das Projekt steht unter der MIT-Lizenz auf GitHub bereit. Das Repository lässt sich direkt klonen und lokal einrichten:

git clone https://github.com/microsoft/skill-recorder.git
cd skill-recorder
npm install

In puncto Sicherheit verfolgt das Tool einen hybriden Ansatz. Die Aufnahme erfolgt vollständig lokal auf dem Rechner. Erst nach einem Klick auf „Analyze“ werden die Ereignis-Timeline, Screenshots und Transkriptionen an die GitHub-Cloud übermittelt. Anwender sollten daher sicherstellen, dass während der Aufzeichnung keine Passwörter oder API-Keys im Sichtfeld liegen.

Das Tool bietet Teams eine Lösung, um Routineaufgaben ohne komplexe Programmierung von Agenten-Logiken zu automatisieren. Weitere Details finden sich im Repository auf github.com/microsoft/skill-recorder.