Mit Copilot Studio ist es einfacher denn je Chatbots zu bauen, die an Unternehmensdaten angebunden sind. Die Anbindung an SharePoint liefert aber häufig nicht die gewünschten Ergebnisse. Dafür gibt es eine Reihe von Gründen. Hier erfährst du, warum die Ergebnisse häufig die Erwartungen nicht erfüllen und was du tun kannst, damit dein Copilot Studio Projekt mit SharePoint ein Erfolg wird.
Das Problem
Der häufigste Usecase, den meine Kunden haben, ist die Anbindung von Copilot Studio an eine Sharepoint-Seite. Häufig ist das die HR-Seite oder teilweise sogar das ganze Intranet. Dabei haben viele Kunden das Problem, dass ihre Mitarbeiter zu viel Zeit mit der Suche nach Inhalten verbringen und sie hoffen, dass die KI hier helfen kann.
In Copilot Studio wird hierfür die Aktion „Generative Antworten“ genutzt. Es wird dann meistens sehr schnell klar, dass die Antworten von Copilot Studio weit von der erhofften Qualität entfernt sind. Einige Antworten sind richtig, aber häufig gibt es auch gar keine Antwort oder die Antworten sind falsch. Um das zu verstehen müssen wir erstmal versuchen, wie Copilot Studio selbständig Antworten generiert.
Ablauf der Suche
Der Ablauf sieht wie folgendermaßen aus: Der Nutzer stellt eine Anfrage an den Agenten. Ein Sprachmodell extrahiert daraus die wesentlichen Informationen. In der Regel heißt das die Schlüsselwörter, die der Nutzer eingegeben hat. Diese Schlüsselwörter werden dann an die SharePoint Suche geschickt.
Die SharePoint-Suche aktualisiert laufend einen Suchindex mit den aktuellen Daten in SharePoint. Dieser Suchindex verbindet bestimmte Dateien oder Textabschnitte mit den darin vorkommenden Schlüsselwörtern.
Mit den Schlüsselwörtern wird jetzt in dem Suchindex nach relevanten Informationen gesucht und ein Raking erstellt. Die Besten Treffer werden dann an das Sprachmodell zurück geschickt.
Das Sprachmodell nimmt die obersten drei Treffer und formuliert aus diesen Informationen zusammen mit der Nutzeranfrage eine Antwort.
Hier liegt das wesentliche Missverständnis der meisten Leute. Die KI kennt nicht das ganze Intranet und beantwortet Fragen dazu. Sondern die KI fast lediglich einen Teil der Informationen zusammen, die der Nutzer auch mit der SharePoint-Suche gefunden hätte.
Das Ergebnis ist also immer nur so gut, wie die dahinter liegende Suche. Wenn die Nutzer selber die Informationen in SharePoint nicht finden, dann wird es Copilot Studio auch nicht tun.
Wie funktioniert die SharePoint Suche?
Die SharePoint-Suche ist erstmal eine ziemlich simple Stichwortsuche. Dabei wird basierend auf den Stichworten aus der Anfrage ein Raking aller Dokumente (Word, PPT, Pages, etc.) erstellt. Dabei gibt es zwei Metriken. Erstens, je häufiger ein Stichwort in einem Dokument vorkommt, desto relevanter ist das Dokument. Zweitens, je seltener ein Stichwort in allen Dokumenten vorkommt, desto relevanter ist ein Dokument in dem es doch vorkommt.
Was verwirrt die Suche?
Das Problem mit der Suche liegt häufig in der Art und Weise, wie Intranets mit SharePoint wachsen. Sie werden nicht zentral geplant, sondern es gibt viele Gruppen, die Informationen hinzufügen. Diese Gruppen arbeiten teilweise an ähnlichen Themen. Zusätzlich werden laufend neue Informationen erstellt, aber alte selten gelöscht.
Je mehr Dokumente es gibt, desto schwieriger wird es für die Suche das relevanteste zu finden. Auch viele Dokumente mit ähnliche Informationen oder mehrere Versionen desselben Dokuments machen es der Suche schwierig. Zusätzlich sind Informationen manchmal nicht in Textform (z.B. PowerPoint oder PDF) vorhanden, sondern in Bildern und Diagrammen.
Was findet die Suche (nicht)?
Die Suche kann textbasierte Dokumente in Dokumenten Bibliotheken und Texte auf Modern Pages finden – allerdings nicht alle. Excel-Dokumente werden häufig schlecht erfasst. Zusätzlich werden manche Formatierungen auf SharePoint Seiten, wie People Picker Webparts oder die Überschriften von zusammenklappbaren Sektionen nicht erfasst. Bilder kann die Suche ebenfalls nicht finden, genauso wie Dokumente, die auf der Seite verlinkt sind.
Verbesserungsvorschläge
Es gibt mehrere Möglichkeiten, die du nutzen kannst, um die Antworten von Copilot Studio zu verbessern.
- Wenn der Maker des Copilot Studio Agents eine M365 Copilot Lizenz hat, kannst du das „Enhanced Search“ Feature einschalten. Dies sorgt dafür, dass SharePoint nicht nur die normale Stichwortsuche nutzt, sondern zusätzlich einen semantischen Index erstellt. Dieser sorgt dafür, dass der Context der Information besser berücksichtigt wird.
- Lade relevante Dokumente direkt in deinen Copilot Studio Agenten hoch. Dabei werden die Dokumente in Dataverse gespeichert. Die Dataverse-Suche ist der normalen SharePoint-Suche ebenfalls überlegen. Zusätzlich wird hierdurch der Informationsraum auf die für den Bot relevanten Dokumente eingeschränkt. Ein Nachteil hierbei ist, dass Nutzerberechtigungen keine Rolle mehr spielen. Alle Nutzer des Bots können auf die Inhalte der Dokumente zugreifen.
- Restrukturiere die Daten in SharePoint, die für den Bot relevant sind. Dies ist zwar viel Arbeit, bietet aber einen doppelten Benefit. Der Copilot Studio Agent gibt bessere Antworten und die Nutzer bekommen auch ohne den Bot bessere Suchergebnisse. Bei der Restrukturierung gibt es einige Dinge die euch helfen.
- Bündelt alle relevanten Informationen zu einem Thema an einem Ort – einem Dokument oder einer Seite.
- Nutze Captions, um den Inhalt von Bildern zu beschreiben oder überführt Bilder in textbasierte Formate wie PowerPoint, wenn es Sinn macht.
- Strukturiert die Informationen klar mit Überschriften.
- Löscht veraltete Dokumente bzw. nutzt die Versionierung in SharePoint.
Strukturiert euren Agenten mit Themen und nutzt die Möglichkeit nur bestimmte Wissensquellen zu durchsuchen.
Fazit
Wenn euer Copilot Studio Agent keine guten Antworten bei Daten in SharePoint liefert, dann liegt das wahrscheinlich an der Datenstruktur und der Suche in SharePoint. Copilot Studio kann euch helfen Informationen zusammenzufassen. Es kann aber nicht die SharePoint suche ersetzen oder verbessern. Hier habt einige Möglichkeiten euren Agenten und eure Daten so zu strukturieren, dass Copilot Studio bessere Antworten liefert. Ich hoffe dieser Beitrag hat euch dazu ein paar Nützliche Informationen gegeben.
Schreibe einen Kommentar