KI im Unternehmen einführen: Leitfaden für den Mittelstand

Wie verbreitet ist KI im Mittelstand?

KI ist in deutschen Unternehmen angekommen, aber längst nicht überall. Die folgenden Zahlen zeigen, wo kleine und mittlere Betriebe stehen.

Bei den Kleinstbetrieben mit bis zu neun Beschäftigten setzt erst rund jeder fünfte Betrieb generative KI ein. Unter den Unternehmen, die noch keine KI nutzen, fehlt den meisten nach eigener Aussage das technische Know-how. Wer planvoll vorgeht, ist deutlich weiter. Laut der KfW-Modellrechnung nutzen Mittelständler mit Digitalisierungsstrategie KI knapp doppelt so häufig wie Unternehmen ohne Digitalisierungsaktivität.

KI einführen in 6 Schritten

Der folgende Leitfaden ist für Betriebe gedacht, die ohne eigene IT-Abteilung starten.

1. Zeitfresser sammeln
2. Anwendungsfälle priorisieren
3. Pilot mit klarer Messgröße
4. Regeln festlegen
5. Team befähigen
6. Skalieren

Schritt 1: Zeitfresser sammeln

Die erste Frage lautet: „Welche Arbeit kostet uns am meisten Zeit und macht am wenigsten Freude?“ Welches KI-Tool Sie nehmen, klären Sie später. Bitten Sie Ihr Team, zwei Wochen lang Aufgaben zu notieren, die sich wiederholen, viel Text erfordern oder nach festen Regeln ablaufen. Typische Zeitfresser sind zum Beispiel diese.

• In Büro und Verwaltung E-Mails beantworten, Protokolle schreiben, Dokumente zusammenfassen und Daten aus PDFs übertragen
• Im Vertrieb Angebote formulieren, Anfragen vorsortieren und Nachfass-E-Mails schreiben
• Im Marketing Social-Media-Beiträge, Newsletter sowie Produkt- und Objektbeschreibungen erstellen
• Im Kundenservice wiederkehrende Fragen beantworten, Reklamationen sortieren und Antworten entwerfen
• Im Personalbereich Stellenanzeigen und Einarbeitungsunterlagen schreiben

Für jeden Eintrag reichen drei Angaben: Wie oft fällt die Aufgabe an, wie lange dauert sie, und wer erledigt sie? Weitere Beispiele zeigt die Seite KI-Prozessoptimierung.

Schritt 2: Anwendungsfälle priorisieren

Nicht jeder Zeitfresser eignet sich für den Start. Bewerten Sie die Kandidaten nach Nutzen und Machbarkeit.

Wählen Sie für den Pilot ein bis drei Anwendungsfälle aus, die gut abschneiden. Gute Kandidaten sind oft Textaufgaben im Büro, weil sie sich mit einem KI-Assistenten ohne Programmierung lösen lassen. Wie Sie dafür eigene Assistenten einrichten, zeigt der Artikel Eigenen KI-Assistenten erstellen.

Schritt 3: Pilot mit klarer Messgröße

Ein Pilot beantwortet eine einzige Frage: Bringt KI bei dieser Aufgabe messbar etwas? Dafür brauchen Sie vor dem Start eine Messgröße und einen Ausgangswert. Geeignet sind zum Beispiel diese Messgrößen.

• Minuten pro Angebot, Protokoll oder Exposé
• Bearbeitungszeit von der Anfrage bis zur Antwort
• Anzahl der Korrekturschleifen oder Rückfragen
• Qualität per Stichprobe, etwa fünf gegengelesene Ergebnisse pro Woche

Planen Sie vier bis acht Wochen mit einer kleinen Pilotgruppe und Firmenlizenzen ein. Legen Sie vorher fest, ab wann der Pilot als Erfolg gilt, zum Beispiel „ein Viertel weniger Zeit pro Angebot bei gleicher Qualität“. Dann entscheiden Sie anhand Ihrer eigenen Zahlen. Welche Tools für den Pilot infrage kommen, vergleicht der Artikel ChatGPT, Copilot oder Gemini?

Wer KI langfristig plant, verbindet die Pilotergebnisse mit einem Fahrplan. Wie das aussieht, beschreibt die Seite KI-Strategie für den Mittelstand.

Schritt 4: Regeln festlegen

Spätestens bevor mehr Menschen als die Pilotgruppe mit KI arbeiten, brauchen Sie klare Regeln. Ein dickes Handbuch braucht es dafür nicht, oft reichen wenige Seiten mit diesen Punkten.

• Legen Sie fest, welche KI-Tools genutzt werden dürfen. Gearbeitet wird mit Firmenkonto, private Accounts bleiben außen vor.
• Bestimmen Sie, welche Daten hineindürfen und welche nicht. Personenbezogene Daten und Geschäftsgeheimnisse gehören nicht in offene Tools.
• Alles, was nach außen geht, prüft ein Mensch (Vier-Augen-Prinzip).
• Für Business-Tarife schließen Sie einen Vertrag zur Auftragsverarbeitung ab.
• Einen vorhandenen Betriebsrat binden Sie frühzeitig ein. Bei technischen Einrichtungen zur Überwachung von Verhalten oder Leistung der Mitarbeiter hat er nach § 87 Abs. 1 Nr. 6 BetrVG ein Mitbestimmungsrecht.

Die interne Nutzung von KI-Chatbots wie ChatGPT oder Copilot gilt nach der KI-Verordnung als minimales Risiko. Außer der KI-Kompetenz nach Art. 4 entstehen daraus keine Sonderpflichten. Anders ist es bei KI für Personalauswahl oder Kreditwürdigkeitsprüfung: Für solche Hochrisiko-Anwendungen gelten ab dem 2. Dezember 2027 strenge Pflichten. Prüfen Sie deshalb schon jetzt, ob Sie solche Tools einsetzen oder planen.

Wie eine Richtlinie konkret aussieht, zeigt der Artikel KI-Richtlinie für Unternehmen. Die Datenschutzfragen behandelt der Artikel ChatGPT und Datenschutz.

Schritt 5: Team befähigen

Ein Tool allein verändert noch nichts. Ihr Team muss wissen, wie es gute Ergebnisse bekommt und wo die Grenzen liegen. Dazu verpflichtet auch Art. 4 der KI-Verordnung, allerdings in schlankerer Form, als oft behauptet wird.

• Art. 4 gilt seit dem 2. Februar 2025. Seit der KI-Omnibus am 27. Juli 2026 in Kraft getreten ist, verlangt er von Unternehmen, die KI beruflich einsetzen, Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Kompetenzniveau müssen sie nicht garantieren.
• Die Pflicht gilt unabhängig von der Unternehmensgröße.
• Ein Zertifikat ist nicht nötig. Die EU-Kommission stellt das ausdrücklich klar, eine interne Dokumentation der Schulungen reicht aus.
• Ein Bußgeld für Art. 4 sieht das deutsche Durchführungsgesetz (KI-MIG) nicht vor. Fehlende KI-Kompetenz kann laut Bundesnetzagentur aber als Verletzung der Sorgfaltspflicht gelten, etwa wenn dadurch ein Schaden entsteht.

Für die Praxis empfehlen wir eine kurze Schulung für jede Rolle, in der Ihr Team mit eigenen Aufgaben übt. Dazu kommen ein Nutzungsleitfaden und eine einseitige Dokumentation, wer wann geschult wurde. Ein KI-Beauftragter ist nicht vorgeschrieben, ein fester Ansprechpartner für Fragen hilft im Alltag aber sehr. Mehr dazu im Artikel Braucht mein Unternehmen einen KI-Beauftragten?

Passende Formate vom Einsteiger-Workshop bis zur Team-Schulung finden Sie unter KI-Workshops und Schulungen, die rechtlichen Hintergründe auf der Seite KI sicher und rechtskonform nutzen.

Schritt 6: Skalieren

Hat der Pilot seine Messgröße erreicht, weiten Sie den Einsatz schrittweise aus.

• Weitere Personen oder Abteilungen einbeziehen, mit kurzer Einweisung anhand der Pilotbeispiele.
• Erprobte Prompts als Vorlagen oder eigene Assistenten für alle bereitstellen.
• Den nächsten Anwendungsfall von Ihrer Liste angehen.
• Wo Daten zwischen Programmen hin- und herwandern, Automatisierungen prüfen.
• Regeln, Lizenzen und Messgrößen halbjährlich überprüfen.

Hat der Pilot sein Ziel nicht erreicht, ist auch das ein Ergebnis. Prüfen Sie, ob der Anwendungsfall oder das Vorgehen nicht gepasst hat, und testen Sie den nächsten Kandidaten von Ihrer Liste.

Typische Fehler und wie Sie sie vermeiden

Checkliste für den Start

• Zeitfresser-Liste mit Häufigkeit und Dauer liegt vor.
• Ein bis drei Anwendungsfälle für den Pilot sind ausgewählt.
• Messgröße und Ausgangswert sind festgelegt.
• Firmenlizenzen und Vertrag zur Auftragsverarbeitung sind vorhanden.
• Eine kurze KI-Richtlinie ist abgestimmt, falls nötig mit dem Betriebsrat.
• Die Pilotgruppe ist geschult, die Schulung ist dokumentiert.
• Der Termin für die Auswertung steht.

Allein oder mit Unterstützung?

Viele Schritte schaffen Sie allein. Eine kostenlose Erstorientierung bieten in NRW zum Beispiel das Zukunftszentrum KI NRW und die KI.NRW Sprechstunde. Unterstützung von außen lohnt sich vor allem, wenn Sie schnell einen strukturierten Überblick brauchen oder intern niemand Zeit für die Vorbereitung hat.

Bei der KI-Potenzialanalyse der LDM GmbH sind wir einen halben Tag bei Ihnen vor Ort. Danach erhalten Sie einen Bericht mit den fünf vielversprechendsten Anwendungsfällen und einem 90-Tage-Plan. Den Umfang stimmen wir im kostenlosen Erstgespräch mit Ihnen ab. Wie Potenzialanalyse, Strategie und Umsetzung zusammenhängen, erklärt die Seite KI-Strategie.