Künstliche Intelligenz auf dem PrüfstandWie ChatGPT bei der ERP-Auswahl abschneidet
15.08.2024 - von Julian Kolb, Axel Winkelmann
Lesedauer: 10 Minuten
|
Dieser Beitrag untersucht die Rolle von generativer KI, speziell ChatGPT 4o, bei der Auswahl von ERP-Systemen für mittelständische Unternehmen, bewertet deren Effektivität in den verschiedenen Phasen des Auswahlprozesses und diskutiert Potenziale und Grenzen dieser Technologie im Kontext der Geschäftsprozessmanagement.
Künstliche Intelligenz – insbesondere generative KI wie z. B. ChatGPT – ist aktuell eines der Trendthemen für betriebswirtschaftliche Anwendungssysteme und fast jeden anderen Bereich in Unternehmen. Durch das Verknüpfen nahezu unendlicher Datenmengen können KI-Tools Informationen extrahieren, bewerten und in einen wahrscheinlichen Zusammenhang bringen. Insbesondere für geistig schöpferische Dienstleistungen wie z. B. Texterstellung, Übersetzungen, Fotografien etc. ist generative KI eine disruptive Technologie und wird die Arbeitsweise heute und in der Zukunft massiv verändern.
Wie schaut es aber im IT-Consulting aus? Kann KI hier den klassischen Berater bereits ersetzen? Diese Frage wurde untersucht, indem ChatGPT 4o mit der Auswahl eines ERP-Systems für einen mittelständischen Maschinen- und Anlagenbauer beauftragt wurde. Die Ergebnisse werden hier vorgestellt und bewertet. Außerdem soll die Frage geklärt werden, welche Lernpotenziale der Einsatz von KI mit sich bringt.
Projektstrukturierung
Zunächst wurde das Projekt strukturiert und ChatGPT 4o nach einer geeigneten Vorgehensweise gefragt:
„Hallo ChatGPT. Wir sind ein mittelständisches Unternehmen aus dem Maschinen- und Anlagenbau mit 200 Mitarbeitern und drei Standorten in Deutschland und Italien. Unsere betriebswirtschaftlichen Prozesse sind seit vielen Jahren unverändert und werden von einer alten ERP-Software unterstützt, welche nicht mehr zeitgemäß ist. Wie können wir vorgehen, um eine ideale ERP-Strategie aufzubauen und eine passende ERP-Software für unser Unternehmen zu finden?“
Die Antwort beinhaltete eine ausführliche Projektstruktur mit acht Schritten (wobei sich dieser Artikel auf die Auswahl konzentriert, weswegen Implementierung, Schulung und Go-Live nicht weiterverfolgt werden), welche weitestgehend dem etablierten Vorgehen in Literatur und Praxis entsprechen. Dies ist mutmaßlich auch der Grund der guten Qualität an dieser Stelle, da es viele gut dokumentierte Vorgehensmodelle gibt, welche durch ChatGPT gefunden und ausgewertet werden können.
Analyse der aktuellen Situation:
Dokumentation der bestehenden Geschäftsprozesse, Workflows, Schwachstellen und Bedarfe.
Projektteam und Plan:
Bildung eines interdisziplinären Teams und Erstellung eines detaillierten Projektplans.
Auswahlkriterien:
Festlegung von Anforderungen wie Funktionsumfang, Benutzerfreundlichkeit und Integration.
Marktanalyse:
Recherche potenzieller Anbieter und Erstellung einer Longlist.
Anbieterauswahl:
Anforderung von Demos, Durchführung von Referenzbesuchen und Erstellung einer Shortlist.
Einziger Kritikpunkt: Ein Projektteam sollte aufgestellt werden, bevor die Prozesse und die IST-Situation analysiert werden, es sei denn man überlässt auch diesen Schritt einer generativen KI.
Analyse der aktuellen Situation
Die praktischen Schritte zur Analyse der aktuellen Situation fasst ChatGPT ebenfalls solide zusammen, empfiehlt Workshops zu organisieren und mit Hilfe von Prozessanalyse-Tools (hier werden konkret Microsoft Visio, Lucidchart und Bizagi vorgeschlagen) sowie Interviews und Umfragen Dokumentationen der aktuellen Prozesse, Anforderungen und Schwachstellen zu erstellen.
Auch bei der Erstellung der Prozessdokumentation kann ChatGPT einen unterstützen, kommt hier aber schnell an seine Grenzen. Grund dafür ist vermutlich das Fehlen einer validen Datengrundlage. Bereits in der Vergangenheit haben viele Tests gezeigt, dass Ergebnisse sehr unterschiedlich ausfallen. Zwar werden Protokolle von Interviews oft so gut strukturiert und zusammengefasst, dass sie z. T. – sofern die Struktur der Notizen optimal ist – direkt in Prozessdiagramme überführt werden können. Doch ist die Qualität der Ergebnisse dabei sehr volatil. Insbesondere der neuesten Version ChatGPT 4o war es bis zuletzt nicht möglich, einen sinnvollen und semantisch korrekten Prozess in einem BPMN2.0-Format zu erstellen. Daher ist an dieser Stelle eine Auslagerung des Prozessschrittest an eine generative KI noch nicht anzuraten, solange keine strukturierten Prozessdaten vorliegen, welche beispielsweise mit Process Mining ausgewertet werden können.
Projektteam und Plan
Der Aufbau eines interdisziplinären Teams ist ein komplexer Prozess und sollte stark auf die Bedürfnisse des Unternehmens abgestimmt sein. In diesem Beispiel schlägt ChatGPT in der weiteren Diskussion und Detailplanung dieses Prozessschrittes folgende Konstellation vor:
Kernteam:
Projektleiter, IT-Leiter, Vertreter Fachabteilungen, Finanzleiter und Change Manager
Erweitertes Team:
Externe Berater und Key-User
Auffallend ist hier, dass die vorgeschlagene Konstellation sehr generalistisch und wenig auf das Unternehmen im Use Case abgestimmt ist. Weiterhin werden die Key-User in gewisser Weise doppelt aufgeführt und ihre Relevanz durch die Zuordnung in das erweiterte Team reduziert. Dabei sind gerade die Key-User die entscheidenden Personen in jedem ERP-Projekt, da sie sowohl die Anforderungen und Prozesse gestalterisch definieren als auch als Schnittstelle zwischen Belegschaft und Projektteam agieren und somit einen entscheidenden Beitrag zum Change-Management leisten. Interessant ist an dieser Stelle auch, dass ChatGPT 4o bei Rückfragen zum Projektteam in Halluzinationen verfällt und beginnt, den einzelnen Rollen konkrete fiktive Personen mit Namen zuzuordnen – an seiner Konstellation aber strikt festhält. Insgesamt geriet der Aufbau des Projektteams von der Leistung eher wenig überzeugend.
Der vorgeschlagene Projektplan entspricht genau den bereits eingangs gezeigten acht Schritten, welche nun weiter präzisiert werden. Auch hier ist eine Unterstützung eher als Basisinformation zu betrachten und sollte gut an die Situation im Unternehmen angepasst werden (Gibt es konkrete Deadlines durch auslaufende Verträge oder rechtliche Anforderungen? Wie ist die zeitliche Auslastung im Projektteam? …).
Auswahlkriterien
Bei der detaillierteren Betrachtung der Auswahlkriterien fällt ebenfalls eine sehr generalistische Formulierung auf, welche aber als soliden Einstieg in die Definition konkreter Kriterien dienen kann:
1. Funktionsumfang: branchenspezifische Funktionen, Modularität, Internationalisierung
2. Benutzerfreundlichkeit: intuitive Benutzeroberfläche, rollenspezifische Dashboards, mobiler Zugriff
3. Technische Anforderungen: Integration, Skalierbarkeit, Cloud-Optionen
4. Datenmigration und -integration: Unterstützung bei Datenmigration, standardisierte Schnittstellen
5. Support und Schulung: lokaler Support, umfangreiche Schulungsangebote
6. Sicherheit und Compliance: Datensicherheit, gesetzliche Vorschriften
7. Kosten: transparente Lizenz- und Betriebskosten, Gesamtbetriebskosten (TCO)
8. Anbieterbewertung: positive Referenzen, gute Marktposition, Innovationskraft
9. Flexibilität und Anpassungsfähigkeit: Customizing, Workflow-Management
10. Zukunftssicherheit: langfristige Entwicklungsperspektiven, technologische Aktualität
Hier sollten Unternehmen strategische Schwerpunkte setzen, um eine passende Einordnung potenzieller Systeme vorzunehmen. Häufig spielen dabei in der Longlist vor allem die harten Funktionen eine maßgebliche Rolle, welche intern definiert und priorisiert werden müssen, um sie anschließend den ERP-Systemen gegenüberzustellen. ChatGPT kann auch hier Informationen aus der Datenbasis aggregieren und dem Nutzer darstellen. In der Bewertung der genannten Funktionen sind jedoch auch hier wieder Lücken zu erkennen, welche darauf schließen lassen, dass die generative KI lediglich bekannte Informationen wiedergibt, ohne diese auf den Use Case zu mappen oder deren Relevanz für das Projekt einschätzen zu können. So gibt ChatGPT beispielsweise auch 500 „passende ERP-Funktionen für das beschriebene Unternehmen“ aus, welcher aber einerseits pro Organisationseinheit gleich gewichtet werden (je 25 Stück) und andererseits auch mit Funktionen wie z. B. „Juristische Beratung“, „Mitarbeiterzufriedenheit“ und „Nachhaltigkeitsforschung“ ohne weiteren Kontext kaum Mehrwerte bieten. Somit können diese Informationen lediglich als Ideengeber einen Projektbeitrag leisten, aber keinesfalls eine fundierte Bedarfsanalyse durch erfahrene Mitarbeiter oder Berater ersetzen.
Marktanalyse
Nachdem das Projekt die prozessualen und funktionalen Anforderungen an ein ERP-System definiert wurden, soll gemäß der generativen KI eine Marktanalyse vorgenommen werden. Daher wurde ChatGPT 4o in mehreren Iterationen gebeten, für das Beispielunternehmen eine Longlist mit zehn Systemen zu erstellen. Zunächst wurde die Anfrage ohne weiteren Kontext gestellt und lieferte zehn Systeme („SAP S/4HANA, Microsoft Dynamics 365, Infor CloudSuite Industrial (SyteLine), Epicor ERP, IFS Applications, abas ERP, Sage X3, Oracle NetSuite, proALPHA und Plex Manufacturing Cloud“). Obwohl nicht alle Systeme ohne weiteres für das Beispielunternehmen (200 Mitarbeiter, Maschinen- und Anlagenbau in Deutschland, …) geeignet erscheinen, sind auch positive Treffer dabei.
Interessant wurde es allerdings, als 243 funktionale Anforderungen aus einem aktuellen Auswahlprojekt als Kontext mitgegeben wurden:
„Erstelle für unser bereits beschriebenes Unternehmen eine ERP-Marktanalyse mit einer Longlist von 10 Systemen. Berücksichtige dabei die bisherigen Ergebnisse im Dialog und die von dir vorgeschlagenen Auswahlkriterien. Folgende Funktionen werden von unserem Unternehmen benötigt: […]“
ChatGPT 4o hat hier auch nach mehreren Iterationen an seinen zehn Systemen festgehalten, Ergebnisse aus bisherigen Prompts nicht ausreichend berücksichtigt und von sich aus bestätigt, dass alle Anforderungen von allen Systemen erfüllt werden (s. Bild), was erfahrungsgemäß ausgeschlossen werden kann. Zudem werden strategische Entscheidungen und auch weiche Anforderungen, welche die KI selbst als Vorgaben gestellt hat, im Auswahlprozess offensichtlich nicht berücksichtigt.
Insgesamt fehlt es ChatGPT 4o auch in diesem Prozessschritt an entsprechender Informationstiefe im zugrundeliegenden Datenmodell und ausreichendem Kontext der Problemstellung. Jedoch hat sich gezeigt, dass auch zusätzlicher Kontext die Ergebnisqualität nicht erhöht hat und Wissenslücken der KI schnell mit halluzinierten Daten gefüllt werden.
Der Einsatz generativer KI-Tools empfiehlt sich daher zum Startpunkt für eine umfassende Marktanalyse oder einen kurzen Gegencheck am Ende. Möglicherweise werden Systeme vorgeschlagen, welche Ihr Projektteam oder ein externer Berater bisher nicht berücksichtigt haben. Jedoch sollten die Ergebnisse sorgfältig geprüft und keinesfalls als einzige Quelle genutzt werden.
Anbieterauswahl
Bei der abschließenden Anbieterauswahl stehen vor allem detaillierte Workshops und Systempräsentationen mit passenden Implementierungspartnern zur Verfügung. Hier kann generative KI beispielsweise sehr gut zur Zusammenfassung relevanter Informationen und dem Aufbau von Use Cases für die Systemhäuser oder der Gestaltung von Tagesordnungen und Präsentationen genutzt werden, da es hier rein um die Generierung neuer Text auf Basis eines Kontexts geht. Schwankend waren die Ergebnisse wieder bei der Aufarbeitung konkreter Empfehlungen, beispielsweise bei der Identifizierung passender Implementierungspartner mit folgendem Prompt:
„Wir haben uns für Microsoft entschieden und möchten das ERP-System bei uns einführen. Suche 5 passende Anbieter für uns heraus, die über entsprechende Branchenerfahrung verfügen und einen Standort im Umkreis von 150km um unseren Hauptsitz in Würzburg haben.“
Von den fünf Vorschlägen sind vier Systemhäuser gut ausgewählt, wobei es sich bei dem letzten Vorschlag um eine Agentur für Personalberatung aus der Region handelt. Ein Zusammenhang mit Microsoft-ERP-Produkten war nicht erkennbar.
Abschließend wurde ChatGPT 4o nochmals für die Aufbereitung von Ergebnissen getestet, wofür Feedbackbögen aus Anbieterworkshops eingespielt wurden. Auch hier konnten in der reinen Aggregation von Informationen aus kontextualisierten und strukturierten Daten (Tabellen mit Bewertungen) gute Ergebnisse erzielt werden, welche den manuellen Aufwand eines Beraters möglicherweise reduzieren können.
Zusammenfassend lässt sich generative KI bei der Anbieterauswahl gut zur Strukturierung von Informationen, zur Erstellung von schöpferischen Texten sowie zur ergänzenden Recherche von Systemhäusern nutzen. Aber auch in diesem Prozessschritt ist eine vollständig unabhängige Ausarbeitung von belastbaren Ergebnissen für generative KI heute noch nicht möglich.
Einschränkungen und Verbesserungspotenzial
Es hat sich gezeigt, dass die erzeugten Ergebnisse bei Projektvorgehen, relevanten Auswahlkriterien und notwendigen Funktionen zwar weitestgehend dem etablierten Wissensstand entsprechen, aber oftmals nicht ausreichend auf den Use Case zugeschnitten sind. Die KI zeigt zudem Schwächen bei der Dokumentation und Analyse der relevanten Prozesse, bei der spezifischen Anpassung der Projektteamzusammensetzung sowie beim Transfer von Wissen in einen neuen Kontext. ChatGPT 4 liefert eine generische Marktanalyse und eine Longlist potenzieller ERP-Systeme, welche weder einen Anspruch auf Vollständigkeit erhebt noch notwendige KO-Kriterien berücksichtigt. Bei der Anbieterauswahl und der Erstellung von Präsentationen zeigt die KI Stärken in der Informationsstrukturierung und Textgenerierung, aber ihre Ergebnisse sind nicht immer zuverlässig.
Gleichzeitig könnten die Ergebnisse durch die Integration weiterer Informationen wie z. B. Systemdatenbanken, systematisch dokumentierter Prozesslandschaften und ausführliche Bedarfsanalysen sicherlich in ihrer Qualität gesteigert werden. Dennoch erscheint es zum derzeitigen Stand der Technik nicht ratsam, komplexe und aufwendige Großprojekte wie die Einführung eines ERP-Systems vollständig in die Hände generativer KI-Lösungen zu geben. Diese können eine nützliche Unterstützung sein, ersetzen aber derzeit nicht vollständig den erfahrenen Berater. Insbesondere die fehlende Transparenz und Halluzinationen sorgen an vielen Stellen für wenig belastbare Ergebnisse, welche schnell zum Scheitern von ganzen ERP-Projekten führen können. Das Forschungsgebiet der Explainable Artificial Intelligence (kurz XAI) arbeitet daran.
Die fünf wichtigsten Fakten
- Generative KI wie ChatGPT extrahiert und bewertet Informationen aus großen Datenmengen, was eine große Hilfe sein kann.
- ChatGPT analysiert und dokumentiert Geschäftsprozesse solide, hat aber Schwierigkeiten bei der Erstellung detaillierter Prozessdiagramme und korrekter Dokumentation.
- ChatGPT schlägt Dinge oft zu allgemein vor und neigt dazu, Rollen mit fiktiven Personen zu besetzen.
- ChatGPT erstellt zwar Longlists für ERP-Systeme, aber für eine fundierte Auswahl fehlt es an Tiefe und Kontext.
- ChatGPT unterstützt bei der Strukturierung von Informationen, Texterstellung und Recherche, aber die Ergebnisse sind oft unzuverlässig und berücksichtigen wichtige Anforderungen nicht ausreichend.
Das könnte Sie auch interessieren
