Prof. Dr. Kay Rottmann

10. April 2026

KI für den Mittelstand: Was wirklich funktioniert (und was nicht)

Ein praxisnaher Leitfaden für mittelständische Unternehmen: Welche KI-Use-Cases lohnen sich heute, welche nicht - und wie Sie ohne Buzzword-Bullshit anfangen. Von einem Professor für Angewandte KI mit 15+ Jahren Industrie-Erfahrung.

Kurzantwort: Im Mittelstand lohnt sich KI heute (Stand April 2026) vor allem an drei Stellen: bei strukturierten Recherche- und Schreibaufgaben, bei der Auswertung unstrukturierter Daten (E-Mails, Dokumente, Tickets) und bei einfachen, klar abgrenzbaren Agenten mit messbarem Erfolg. Was sich nicht lohnt: vollautonome Systeme ohne menschliches Reviewing, “KI-Strategien” ohne konkreten ersten Use-Case, und Modell-Bastelei, wenn die Datengrundlage fehlt.

Diesen Artikel hat Prof. Dr. Kay Rottmann geschrieben, Professor für Angewandte KI an der HdM Stuttgart und ehemaliger Senior Applied Scientist bei Amazon Alexa, Sr. Manager AI für Manufacturing am Bosch Center for AI und Engineering Manager bei Meta. Er berät über die r7net GmbH mittelständische Unternehmen - vor allem in der Region Stuttgart - bei KI-Strategie und Implementierung.

Stand: 10. April 2026.

Die Ausgangslage im Mittelstand 2026

Drei Jahre nach dem ChatGPT-Schock sieht die Lage in den meisten mittelständischen Unternehmen, mit denen ich spreche, so aus:

  • Es gibt Begeisterung - meist von einzelnen Mitarbeitenden, die ChatGPT privat nutzen und merken, wie viel schneller sie damit arbeiten.
  • Es gibt Angst - vor Datenschutz, vor Halluzinationen, vor neuen Regulierungen wie dem EU AI Act, und vor dem Gefühl „den Anschluss zu verlieren”.
  • Es gibt Druck - meist vom Beirat oder vom Geschäftsführer, „endlich was mit KI zu machen”.
  • Und es gibt sehr wenig Klarheit darüber, was man tatsächlich tun sollte.

Genau diese Lücke versuche ich in diesem Artikel zu schließen. Keine Buzzwords. Keine Folien mit „Use-Case-Landschaften”, die in Wirklichkeit niemand bauen will. Sondern ein nüchterner Blick darauf, was im Mittelstand 2026 funktioniert.

Drei Use-Case-Klassen, die heute fast immer funktionieren

1. Strukturiertes Schreiben und Recherchieren

Dies ist der schnellste Hebel im Mittelstand - und der unterschätzteste. Mitarbeitende in Vertrieb, Marketing, Recruiting, Einkauf und Geschäftsführung verbringen täglich Stunden mit Aufgaben wie:

  • Angebote oder Kundenanschreiben formulieren
  • Stellenanzeigen, Produkttexte oder Newsletter schreiben
  • Hintergrundinformationen zu Kunden, Lieferanten oder Wettbewerbern recherchieren
  • Vertragsentwürfe lesen und zusammenfassen
  • Protokolle aus Meetings strukturieren

Mit einer ordentlich konfigurierten Lösung - sei es ein bezahlter ChatGPT-Enterprise-Account, Microsoft Copilot oder eine eigene Lösung über die API - sind hier 20 bis 40 Prozent Zeitersparnis pro Woche realistisch. Das ist kein Versprechen, das ist das, was wir bei meinen Kunden tatsächlich messen.

Wichtig: Das funktioniert nur, wenn die Mitarbeitenden lernen, wie man mit dem Modell spricht. Eine strukturierte ChatGPT-Schulung zahlt sich hier in der Regel innerhalb weniger Wochen aus.

2. Auswertung unstrukturierter Daten

Mittelständische Unternehmen sitzen auf Bergen von Text, den klassische Software nicht versteht: Kundenanfragen, Support-Tickets, Reklamationen, Bewerbungen, technische Dokumentation, Verträge, E-Mail-Korrespondenz. Genau hier sind LLMs heute extrem gut.

Konkrete Beispiele aus der Praxis:

  • Ein Maschinenbauer klassifiziert eingehende Service-Anfragen automatisch nach Dringlichkeit, Maschinentyp und Lösungspfad - vorher 15 Minuten pro Ticket, heute 30 Sekunden.
  • Ein Versicherungsmakler liest Schadensmeldungen automatisch aus, prüft Plausibilität und schlägt die nächsten Schritte vor.
  • Ein Personaldienstleister filtert eingehende Bewerbungen anhand der Stellenanforderungen vor - fair, dokumentiert und revisionssicher.

Diese Use-Cases funktionieren, weil sie klare Inputs und klare Outputs haben. Das macht sie messbar - und das macht sie produktionstauglich.

3. Klar abgrenzbare KI-Agenten

KI-Agenten - also Systeme, die nicht nur antworten, sondern eigenständig Werkzeuge benutzen - sind im Jahr 2026 für klar abgegrenzte Aufgaben produktionsreif. Beispiele aus laufenden Projekten:

  • Ein Recherche-Agent, der für Vertriebler vor jedem Termin automatisch ein 1-Pager-Dossier zum Gesprächspartner und seinem Unternehmen erstellt - aus öffentlich zugänglichen Quellen, mit Quellenangabe.
  • Ein Pflege-Agent fürs CRM, der nach jedem Kundenkontakt die Stammdaten überprüft, fehlende Felder ergänzt und Auffälligkeiten meldet.
  • Ein Finanz-Agent, der eingehende Rechnungen prüft, mit Bestellungen abgleicht, Abweichungen markiert und im Buchhaltungssystem vorbucht - und nur die Grenzfälle einem Menschen vorlegt.

Was diese Beispiele eint: Klares Ziel. Klar messbarer Erfolg. Mensch im Loop für Eskalationen. Wenn diese drei Bedingungen erfüllt sind, funktionieren Agenten heute zuverlässig. Mehr dazu auf der Seite KI-Agenten Entwicklung.

Drei Use-Case-Klassen, die (noch) nicht funktionieren

Genauso wichtig wie die „lohnt sich”-Liste ist die ehrliche „lohnt sich nicht”-Liste. Was ich Mittelständlern aktuell abrate:

1. Vollautonome Systeme ohne menschliches Reviewing

Wer glaubt, einen Agenten zu bauen, der völlig allein Kundenanfragen beantwortet, Bestellungen auslöst oder Verträge verschickt, wird enttäuscht werden. LLMs machen Fehler - und zwar nicht zufällig, sondern in bestimmten Mustern, die sich nicht vollständig wegtrainieren lassen. In jeder ernsten Anwendung braucht es heute noch einen Menschen im Loop, mindestens für Eskalationen und Audits. Wer das ignoriert, riskiert teure Imageschäden und Compliance-Probleme.

2. „KI-Strategie” ohne konkreten ersten Use-Case

Viele Mittelständler bestellen sich erst eine „KI-Strategie” (idealerweise als 80-Seiten-PowerPoint) und fangen dann an. Das ist die falsche Reihenfolge. Eine Strategie, die nicht aus echter Erfahrung mit einem konkreten Use-Case kommt, ist ein Wunschzettel.

Mein Rat: Fangen Sie mit einem konkreten Pilotprojekt an. Lernen Sie an dem Projekt, was Ihre Organisation kann und was nicht. Daraus leiten Sie die Strategie ab. Eine ordentliche KI-Strategie-Beratung sollte deshalb immer einen Pilot-Use-Case beinhalten - nicht nur Folien.

3. Modell-Bastelei, wenn die Datengrundlage fehlt

Sätze wie „wir wollen ein eigenes Modell trainieren” oder „wir brauchen unsere eigene KI” hört man im Mittelstand oft. In 95 Prozent der Fälle ist das genau das Falsche. Eigene Modelle zu trainieren ist teuer, langsam und vor allem: Es löst kein Problem, das man nicht auch mit GPT-5, Claude 4.6 oder einem Open-Source-Modell wie Llama 4 lösen könnte.

Was Sie wirklich brauchen, ist: gute Daten, gute Prompts, gute Tools und ein funktionierendes Eval-Framework (siehe LLM Evaluation). Das eigene Modell ist fast nie der Engpass.

Wie fängt man konkret an? Der pragmatische Weg

Wenn ich heute einen Mittelständler berate, der bei null anfängt, sieht der Ablauf typischerweise so aus:

  1. Use-Case-Workshop (1 Tag). Wir setzen uns mit drei bis fünf Leuten aus unterschiedlichen Bereichen zusammen und sammeln Schmerzpunkte aus dem Alltag. Aus den 30 bis 50 Ideen wählen wir gemeinsam die eine aus, die am besten zur Definition oben passt: klar abgrenzbar, messbar, mit Mensch im Loop. Genau das ist der Kern eines KI-Workshops für Unternehmen.

  2. Prototyp (2–4 Wochen). Wir bauen den ersten lauffähigen Prototypen auf echten Daten. Nicht hübsch, aber funktional. Das Ziel: belastbar zeigen können, dass die Idee technisch machbar ist und ungefähr so funktioniert, wie wir es erwartet haben.

  3. Evaluation (parallel). Schon im Prototypen messen wir Qualität auf einem kleinen, manuell kuratierten Test-Set. Ohne Eval geht kein Use-Case in Produktion - nicht in meinen Projekten.

  4. Pilotbetrieb (4–8 Wochen). Eine kleine Gruppe nutzt das System produktiv, parallel zum bestehenden Prozess. Wir messen kontinuierlich Qualität, Effizienz und Nutzerzufriedenheit.

  5. Roll-out (4–8 Wochen). Wenn der Pilot funktioniert, rollen wir auf die volle Zielgruppe aus. Erst jetzt kommen Themen wie Schulung, SSO-Integration, IT-Compliance und Betrieb wirklich auf den Tisch.

Das gesamte Vorgehen ist im Service KI-Implementierung im Unternehmen dokumentiert.

Was kostet das?

Eine ehrliche Größenordnung - keine Beratungsfolie:

  • Workshop: niedriger vierstelliger Eurobereich.
  • Prototyp: niedriger fünfstelliger Eurobereich.
  • Pilot inklusive Eval-Framework: mittlerer fünfstelliger Eurobereich.
  • Roll-out: hängt stark vom Use-Case ab - typischerweise oberer fünfstelliger Bereich für ein erstes produktives System mit Schulung und Betriebsübergabe.

Das klingt für einige Mittelständler viel. Aber: Die meisten Use-Cases, die wir bauen, sparen pro Jahr ein Vielfaches dieser Investition ein - und schaffen gleichzeitig Wissen und Geschwindigkeit im Unternehmen, die sich auf den nächsten Use-Case übertragen lassen.

Was Sie heute schon tun können - kostenlos

Wenn Sie das alles erstmal selbst ausprobieren wollen, drei konkrete Hausaufgaben:

  1. Legen Sie eine Liste der zehn häufigsten Schreibaufgaben an, die Sie selbst pro Woche erledigen. Versuchen Sie eine Woche lang, jede davon mit ChatGPT zu lösen. Notieren Sie, wo es funktioniert hat, wo nicht - und warum.
  2. Identifizieren Sie einen Datentopf in Ihrem Unternehmen, in dem viel Text liegt: Tickets, Bewerbungen, Reklamationen, Kundenkommunikation. Fragen Sie: „Was würde ich gerne wissen, wenn jemand all das gelesen hätte?” Das ist Ihr erster Use-Case-Kandidat.
  3. Sprechen Sie mit Ihren Mitarbeitenden - ohne Druck, ohne KI-Komitee. Fragen Sie schlicht: „Was nervt Sie an Ihrer Arbeit so sehr, dass Sie es einer Maschine überlassen würden?” Die Antworten sind Ihre echten KI-Use-Cases.

Häufige Fragen

Brauche ich dafür einen Data Scientist im Unternehmen? Nein, in der Regel nicht. Für die meisten Use-Cases im Mittelstand brauchen Sie keinen Data Scientist, sondern jemand, der Software bauen und Prozesse verstehen kann - und der weiß, wie man LLMs zuverlässig in Software einbettet. Genau das ist Anwendungs-KI.

Was ist mit dem EU AI Act? Der EU AI Act ist seit 2024 in Kraft, viele Anforderungen werden 2026 wirksam. Für die meisten Use-Cases im Mittelstand fallen Sie in die Kategorie „begrenztes Risiko” mit überschaubaren Pflichten (Transparenz, Kennzeichnung). Hochrisikoanwendungen (z. B. in HR-Auswahl) brauchen mehr Sorgfalt - das wird aber immer im Einzelfall geprüft. Lassen Sie sich davon nicht abschrecken: Die Pflichten sind machbar, wenn man sie von Anfang an mitdenkt.

Was ist, wenn meine Daten nicht in die USA dürfen? Dann nutzen Sie Modelle, die in Europa gehostet werden (Mistral, Aleph Alpha, oder Open-Source-Modelle wie Llama 4 und Qwen 3 auf europäischer Infrastruktur). Microsoft Azure OpenAI bietet inzwischen auch EU Data Residency mit vertraglichen Garantien. Es gibt für fast jeden Compliance-Bedarf eine valide Lösung.

Reicht nicht ChatGPT Enterprise und ein bisschen Schulung? Für die ersten Schritte: ja, das ist sogar ausdrücklich mein Rat. Beginnen Sie mit einer guten Schulung und einem unternehmensweiten ChatGPT-Enterprise-Account. Erst wenn Sie spüren, wo die Grenzen liegen, lohnt sich der Schritt zu eigenen Anwendungen, Agenten oder Integrationen.

Wie finde ich heraus, ob mein Use-Case sich überhaupt lohnt? Drei Fragen: (1) Kostet die manuelle Erledigung mehr als 30 Minuten pro Vorgang? (2) Passiert sie mehr als 100 Mal pro Monat? (3) Gibt es einen klaren Erfolgs-Indikator? Wenn Sie alle drei mit Ja beantworten, ist das ein guter Kandidat.

Weiterlesen

← Alle Beiträge