Hardware-Auslegung
Grafikspeicher ist die begrenzende Größe, nicht Rechenleistung. Wir bemessen die Hardware am Modell und an der Zahl gleichzeitiger Nutzer — und nennen auch die günstigere Variante, wenn sie reicht.
On-premise · Eigene Hardware · Kein Datenabfluss
KI, die das Haus nicht verlässt.
Für viele Datenbestände ist die Cloud keine Option — nicht aus Prinzip, sondern weil Personaldaten, Patientendaten, Konstruktionsdaten oder vertragliche Zusagen es verbieten. Lokale Sprachmodelle lösen dieses Problem technisch: Das Modell läuft auf Ihrer Hardware, die Daten bleiben im Netz, und es gibt keinen Anbieter, dem man vertrauen muss.
- Keine Übertragung nach außen
- Kalkulierbare Kosten
- Offene Modelle
Vergleich · Wo die Daten laufen
Derselbe Vorgang, zwei Wege.
Umschalten und die gestrichelte Hausgrenze beobachten: Sie zeigt, welcher Schritt noch bei Ihnen liegt und welcher nicht.
Ein Vorgang, zwei Wege
Ihr Haus
Ihr SystemERP · DMS · Mail
VorverarbeitungFelder wählen
ModellEU-Rechenzentrum · AVV
RückschreibenErgebnis im ERP
Nur die Felder, die der Vorgang wirklich braucht, verlassen das Haus — vertraglich abgesichert, EU-Hosting, keine Freigabe zum Training. Beste Qualität pro Euro.
Leistung
Was zu einer lokalen Installation gehört.
Lokale KI ist weniger eine Modellfrage als eine Betriebsfrage. Vier Themen bestimmen das Ergebnis.
Modellauswahl
Offene Modelle unterscheiden sich stark in Größe, Sprachqualität und Werkzeugfähigkeit. Für deutschsprachige Fachaufgaben prüfen wir mit Ihren eigenen Beispielen, nicht mit Ranglisten.
Wissenszugang
Ihre Dokumente werden indexiert und dem Modell zum Zeitpunkt der Anfrage zugänglich gemacht — inklusive Rechteprüfung, damit niemand über die Suche mehr sieht als über den Dateizugriff.
Betrieb
Updates, Überwachung, Sicherung und ein klarer Weg, wie eine neue Modellversion eingespielt wird, ohne den laufenden Dienst zu unterbrechen.
Anwendungsfälle
Wofür lokale Modelle eingesetzt werden.
Personal und Bewerbungen
Unterlagen zusammenfassen, Anforderungsprofile abgleichen, Verträge prüfen — Daten, die aus arbeitsrechtlichen Gründen nicht extern verarbeitet werden sollen.
Technische Dokumentation
Konstruktionsunterlagen, Prüfberichte und Normen durchsuchbar machen, ohne firmeneigenes Know-how an Dritte zu geben.
Verträge und Rechtliches
Klauseln finden, Fristen erkennen, Vertragsversionen vergleichen — im Haus, mit Quellenangabe.
Gesundheits- und Sozialbereich
Dokumentation und Berichte unterstützen, wo besondere Kategorien personenbezogener Daten verarbeitet werden.
Interne Wissenssuche
Handbücher, Protokolle und Arbeitsanweisungen für alle Mitarbeitenden zugänglich, mit Rechten wie im Dateisystem.
Vorverarbeitung für die Cloud
Sensible Angaben werden lokal entfernt oder ersetzt, bevor eine anonymisierte Anfrage an ein stärkeres externes Modell geht.
Einordnung
Was lokal gut funktioniert — und was nicht.
Lokale Modelle haben in den letzten Jahren deutlich aufgeholt, aber sie sind nicht in jeder Disziplin gleichwertig. Bei Zusammenfassungen, Klassifikation, Extraktion aus Dokumenten und Suche über eigene Inhalte ist der Abstand zu großen Cloud-Modellen für die Praxis oft unerheblich. Bei komplexer mehrschrittiger Planung, anspruchsvollem Programmieren und feiner stilistischer Textarbeit bleibt ein sichtbarer Unterschied.
Die realistische Kostenrechnung
- Einmalig: Hardware mit ausreichend Grafikspeicher, Einrichtung, Modellauswahl und Anbindung an Ihre Datenbestände.
- Laufend: Strom, Wartung, Updates und die Arbeitszeit für den Betrieb — dafür keine nutzungsabhängigen Kosten pro Anfrage.
- Umschlagpunkt: Je mehr Anfragen anfallen, desto günstiger wird der Eigenbetrieb. Bei geringer Nutzung ist die Cloud wirtschaftlicher — die Entscheidung sollte also nicht allein am Datenschutz hängen.
Der ehrliche Vergleich
Wenn Ihr Anwendungsfall auch mit einem Anbieter mit Auftragsverarbeitungsvertrag und EU-Rechenzentrum vertretbar ist, sagen wir das — Cloud ist dann schneller verfügbar und pflegeärmer. Lokale KI empfehlen wir, wenn der Schutzbedarf es verlangt, wenn Sie unabhängig von Anbieterpreisen sein wollen, oder wenn die Nutzungsmenge den Eigenbetrieb rechnerisch trägt.
Mischbetrieb als Normalfall
In der Praxis entsteht meist eine Kombination: unkritische Aufgaben laufen extern, sensible Verarbeitung lokal, gesteuert über eine gemeinsame Schnittstelle. So bleibt die Entscheidung pro Anwendungsfall offen, statt sich einmal für alles festzulegen — und ein Wechsel bleibt möglich.
Vorgehen
Von der Prüfung zum Betrieb.
01
Bedarf klären
Datenarten, Schutzbedarf, Nutzerzahl und Anwendungsfälle werden erfasst.
02
Mit Ihren Daten testen
Kandidatenmodelle werden an Ihren echten Beispielen geprüft, nicht an Benchmarks.
03
Einrichten
Hardware, Modell, Wissenszugang und Rechte werden aufgesetzt und dokumentiert.
04
Betrieb übergeben
Einweisung, Überwachung und ein festgelegter Weg für Modell-Updates.
Fragen
Häufige Fragen.
Welche Hardware brauchen wir?
Die begrenzende Größe ist der Grafikspeicher: Er muss das Modell aufnehmen können. Für kleinere Modelle und wenige gleichzeitige Nutzer genügt eine einzelne leistungsfähige Grafikkarte in einem Server; für größere Modelle oder viele parallele Anfragen wird entsprechend mehr benötigt. Wir bemessen das am konkreten Anwendungsfall, statt pauschal die größte Ausstattung zu empfehlen.
Sind lokale Modelle schlechter als ChatGPT?
Bei einigen Aufgaben ja, bei vielen praxisrelevanten kaum. Für Extraktion aus Dokumenten, Klassifikation, Zusammenfassungen und Suche über eigene Inhalte sind offene Modelle heute gut geeignet. Bei komplexer Planung und anspruchsvoller Textarbeit bleibt ein Abstand — deshalb testen wir mit Ihren Beispielen, bevor Hardware gekauft wird.
Ist lokale KI automatisch DSGVO-konform?
Sie beseitigt die Frage der Übermittlung an Dritte, nicht alle anderen Pflichten. Rechtsgrundlage, Zweckbindung, Löschkonzept, Rechte der Betroffenen und Transparenz gelten weiter. Wir liefern die technische Beschreibung der Verarbeitung, die Ihre Datenschutzbeauftragte für die Bewertung braucht.
Wer betreibt das System im Alltag?
In der Regel Ihre IT oder Ihr IT-Dienstleister, mit einer Dokumentation, die den Betrieb beschreibt. Wir richten ein und weisen ein; auf Wunsch begleiten wir Updates und Modellwechsel, aber die Lösung ist so gebaut, dass sie nicht von uns abhängt.
Können wir später auf ein anderes Modell wechseln?
Ja, und das sollte auch vorgesehen sein. Wenn der Zugriff über eine standardisierte Schnittstelle läuft, ist ein Modellwechsel eine Konfigurationsänderung und kein Projekt. Genau deshalb bauen wir Anwendungen nicht direkt gegen ein bestimmtes Modell.