Tus tareas
Imagina un agente que tramita expedientes en una administración pública. Es rápido y casi siempre acierta. De vez en cuando, también se inventa un número de expediente, se salta una comprobación que debería haber hecho o modifica discretamente sus instrucciones para terminar antes. Para las personas para quienes lo desarrollamos, ese agente es peor que no tener ningún agente. Y tienen razón.
Gran parte de nuestro trabajo se reduce a una pregunta poco glamurosa: ¿cómo se enseña a un modelo a ser fiable y cómo sabrías que no lo es? De eso trata este puesto. Crearías los modelos de recompensa y los evaluadores que deciden qué significa «hacerlo bien» durante el entrenamiento. Entrenarías modelos para que sean honestos sobre lo que hicieron y lo que no hicieron. Y crearías las evaluaciones que los detectan cuando no lo son.
Trabajarías dentro de nuestro entrenamiento de RL, no en un equipo aparte que lo revisa después. Lo que desarrolles irá directamente a la recompensa.
En qué trabajarás
- Modelos de recompensa y evaluadores basados en LLM para tareas que no se pueden calificar con una prueba unitaria: basadas en rúbricas, generativas y a nivel de proceso. Después, los contrastarás con el juicio humano riguroso, porque un evaluador que nadie ha comprobado no es más que otro modelo con opiniones.
- Convertir los comportamientos importantes en trabajos regulados en señales de entrenamiento. Seguir políticas e instrucciones aunque resulte incómodo. Preguntar cuando algo sea ambiguo. Parar en lugar de adivinar. Informar de lo que realmente devolvió una herramienta. Saber hasta qué punto se puede tener certeza.
- Detectar el hackeo de recompensas y la manipulación de especificaciones, y estudiar cómo fallan nuestros evaluadores para poder corregirlos.
- Experimentos de alineación dentro del postentrenamiento de RL (datos de preferencias, críticas sintéticas, retroalimentación basada en principios), con una evaluación honesta de lo que cuestan en capacidad y eficiencia.
- Evaluaciones de seguridad y fiabilidad que sigan teniendo sentido fuera del laboratorio. Evaluamos para empresas y clientes del sector público, así que contamos con casos reales en los que basarnos.
Tu perfil
- Has entrenado o evaluado LLM y tienes experiencia práctica en al menos uno de estos ámbitos: modelado de recompensas, RLHF o aprendizaje de preferencias, LLM como evaluador, evaluación de alineación o seguridad.
- Tienes un nivel sólido de Python y PyTorch para llevar por tu cuenta un experimento desde la idea hasta los resultados.
- Desconfías de las métricas. Cuando un número parece bueno, lo primero que piensas es en cómo podría estar equivocado.
- Puedes convertir una queja imprecisa («se muestra demasiado seguro en los casos límite») en algo que podamos medir y utilizar para entrenar.
- Escribes con claridad. Un resultado de alineación en el que nadie cree no ha conseguido gran cosa.
- Vives en la UE y tienes permiso para trabajar aquí. Solo necesitas inglés; el alemán es un plus.
- Se valorará, pero no es imprescindible: experiencia en interpretabilidad o supervisión escalable, publicaciones sobre modelado de recompensas o evaluación, experiencia en un sector regulado, cierta familiaridad con la Ley de IA de la UE, alemán.
¿Por qué trabajar con nosotros?
Aquí, la alineación es lo que hace posible que alguien use el producto, así que tu trabajo acabará en todos los modelos que publiquemos. Tampoco empezarías desde cero. El equipo lleva años trabajando en evaluación, desde tareas de benchmark para Terminal-Bench 4.0 hasta evaluaciones de seguridad y rendimiento de modelos para el Gobierno federal alemán. Tenemos suficiente capacidad de computación para probar bien una idea, en lugar de limitarnos a discutirla. Además, nuestro primer lanzamiento de código abierto, previsto para Q1 2027, es una oportunidad para mostrar públicamente cómo es un modelo europeo de agente fiable.
Qué ofrecemos
- Trabaja desde cualquier lugar de la UE, preferiblemente Alemania.
- Capacidad de computación de verdad: cientos de GPU a través de EuroHPC y proveedores comerciales.
- Las herramientas de IA que te faciliten el trabajo, sin un laberinto de compras y contrataciones.
- Tu nombre en trabajos públicos. Nuestro primer lanzamiento de código abierto está previsto para Q1 2027.
- Fundadores a quienes puedes escribir directamente y un equipo de investigación del que merece la pena aprender.
- Una oficina, si quieres: Bremen, junto al agua (sí, hay un barco, además de bebidas y batidos gratis), o Berlín.
Nos importa mucho más lo que has creado y cómo piensas que cómo está redactado tu CV. Si no cumples todos los requisitos, presenta igualmente tu candidatura. Casi nadie los cumple todos, y las perspectivas diferentes mejoran nuestros modelos y nuestro equipo.
Nivel de experiencia: con experiencia
Jornada: completa
Tipo de contrato: indefinido
Ubicación del puesto: Bremen, Konsul-Smidt-Str. 8P, 28217, DE
Ubicación del puesto: Berlín, 10119, DE
#J-18808-Ljbffr