KARRIERE / AI PLATFORM
LLMOps Engineer – Model Serving & Evaluation
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben.
München · Berlin · Frankfurt · Stuttgart
Beschäftigungsform in Abstimmung
EMOS Software GmbH
DEINE AUFGABE
Woran du bei EMOS arbeitest.
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben. Im Mittelpunkt stehen belastbare Lösungen, nachvollziehbare technische Entscheidungen und die Zusammenarbeit mit Fachbereichen sowie Engineering-Teams.
- Modell-Gateways, Rate Limits, Routing, Caching und Fallback-Strategien implementieren
- Evaluationen und Regressionstests für Prompts, Modelle und Tool-Aufrufe automatisieren
- Telemetry für Tokenverbrauch, Antwortlatenz, Fehlerquoten und Qualitätsmetriken aufbauen
- Deployment- und Rollback-Prozesse für Modell- und Prompt-Versionen definieren
- Bestehende Lösungen analysieren, technische Risiken dokumentieren und Verbesserungen entlang konkreter Akzeptanzkriterien priorisieren.
- Implementierungen mit geeigneten automatisierten Tests, reproduzierbaren Testdaten und Code-Reviews absichern.
- Fehlerbilder aus Logs, Metriken und Laufzeitverhalten untersuchen; Ursachen und Gegenmaßnahmen nachvollziehbar festhalten.
DEIN PROFIL
Was fachlich gut passt.
Langjährige Erfahrung ist willkommen. Entscheidend sind belastbare technische Grundlagen, Lernbereitschaft und ein professioneller Umgang mit anspruchsvollen Kundensystemen.
- Praxis mit Python, Kubernetes, Docker und API-basiertem Model Serving
- Erfahrung mit OpenTelemetry, Prometheus/Grafana und CI/CD
- Kenntnisse in vLLM oder vergleichbaren Serving-Stacks sowie GPU-Ressourcenplanung
- Verständnis für Secrets, RBAC, PII-Redaktion und Auditierbarkeit
- Erfahrung mit strukturiertem Debugging, Versionsverwaltung und der Zusammenarbeit in interdisziplinären Teams.
- Fähigkeit, technische Entscheidungen verständlich zu begründen und die Qualität anhand konkreter Kriterien zu überprüfen.
TECHNISCHES UMFELD: Python · Kubernetes · vLLM · OpenTelemetry · Prometheus · CI/CD
ZUSAMMENARBEIT & QUALITÄT
Wie du Wirkung erzielst.
In dieser Rolle geht es nicht nur um einzelne Technologien. Du arbeitest an nachvollziehbaren Ergebnissen: Anforderungen klären, Lösungen technisch sauber umsetzen, Risiken früh erkennen und die Übergabe an Betrieb oder andere Teams absichern.
Für die Position LLMOps Engineer – Model Serving & Evaluation sind insbesondere dokumentierte Schnittstellen, transparente Reviews, automatisierte Qualitätssicherung und ein bewusster Umgang mit produktiven Systemen relevant. Das konkrete Projektumfeld wird im Gespräch erläutert.
RAHMENBEDINGUNGEN
Was die aktuelle EMOS-Ausschreibung vorsieht.
München · Berlin · Frankfurt · Stuttgart – ausgeschriebener Standort
Noch abzustimmen – mit gleitender Arbeitszeit
Noch abzustimmen – Beschäftigungsform
Noch abzustimmen – beim Kunden, Inhouse bzw. Remote
Gehaltsmodell: fair und nach Vereinbarung. Konkreter Projekteinsatz und weitere Rahmenbedingungen werden im Bewerbungsprozess abgestimmt.
#J-18808-Ljbffr