La semana del 18 (de septiembre), mientras me comía una empanada, se lanzó Jev. Un modelo que abrió un submundo para todos los que estamos trabajando desarrollando agentes.
¿Quién es Jev?
Jev es un modelo de decisión de TypeSafe AI. A diferencia de un LLM, en cambio de devolver texto, devuelve una decisión: le pasas una lista de alternativas y te devuelve la más probable. Le caben unos 32 mil tokens de texto por consulta, que es más o menos la mitad de El extranjero de Camus.
El público se volvió loco, Twitter estalló. Vieron en Jev un modelo generalista que toma decisiones muy rápido y no tardaron en encontrar casos de uso entretenidos (y realmente útiles). Además, como es inevitable, salieron varias copias que incluso pueden ser mejor que Jev. Como Clef de Cloudflare y otros open source como Laya, Nimble y Kev, y hace poco la Decisions API de OpenAI.
Lo bacán de estos modelos es que nos permiten hacer estas elecciones a un nivel parecido al de los mejores LLMs de ahora mismo.
Si te interesa saber más sobre esto, pídele a tu ChatGPT o a Claudito que te expliquen sobre fast y slow thinking (Pensar rápido, pensar despacio, de Kahneman) y los System 1 y System 2.
Dónde lo usamos en Revi
En Revi, obviamente, no nos queríamos quedar atrás. Así que, inspirados por cosas que vimos en Twitter, comenzamos a ver dónde lo metíamos nosotros.
Reconocer documentos
Un expediente de permiso de edificación trae decenas de archivos. Para empezar, Revi necesita saber cuál es la solicitud (el formulario de la solicitud, un estándar del Minvu) y cuál es el acta de observaciones de la DOM (la muni). Antes se lo preguntábamos a Gemini. Ahora Jev elige entre los nombres de los archivos, más una opción «ninguno». Tarda unos 0,4 segundos, antes aprox 3 segundos, y cuesta US$ 0,00003 por expediente. Si falla, responde Gemini como antes.
Filtrar la normativa
Cuando alguien pregunta por normativa, el agente busca en una base vectorial con la LGUC, la OGUC, los planes reguladores y las DDU (circulares). Esto es un RAG de toda la vida (3 años). Cada búsqueda trae varios fragmentos y todos entran al contexto, sirvan o no. La entrada del LLM es casi todo nuestro gasto: en nuestros evals, 4,3 millones de tokens de entrada contra 45 mil de salida.
Ahora, después de cada búsqueda, Jev revisa fragmento por fragmento si ayuda a responder la pregunta, y solo pasan los que sí:
En 20 preguntas de Puerto Varas, los tokens de entrada bajaron 43 % y el costo 38 %, con prácticamente la misma tasa de aprobación: 18,5 de 20 contra 19. Donde más se filtra es en los planes reguladores: de diez fragmentos por búsqueda, suelen servir dos.
Lo que no funcionó
También probamos Jev en dos lugares más, con conversaciones y expedientes reales de Revi. Ninguno salió como esperábamos.
Elegir herramientas
El agente de Revi tiene unas 50 herramientas, y probamos que Jev eligiera cuál usar en cada paso. Le achuntó a la misma que eligió el agente solo 4 de cada 10 veces, menos que si siempre respondiera sin usar ninguna. Y cuando sí había que usar una, acertó menos de 2 de cada 10.
También probamos algo más fácil: que Jev solo dijera si un mensaje se puede responder sin buscar nada, como cuando el usuario pide un resumen. Para no saltarse nunca una búsqueda que hacía falta, reconoció solo 12 de los 71 mensajes que se podían responder sin buscar.
Podar el historial
Los subagentes que revisan un expediente leen en cada paso todo lo que trajeron sus herramientas antes, aunque ya no les sirva. Probamos que Jev decidiera qué botar.
No sirvió: los tokens no bajaron y el costo subió 7 %. Y revisó un poco peor: revisamos 15 ítems de expedientes reales, 3 veces cada uno, y vimos si Revi encontraba los mismos problemas que había marcado el revisor de la municipalidad. Sin Jev le achuntó en 24 de esas 45 revisiones; con Jev, en 21.
Lo que nos funcionó fue mirar lo que hacían otros, copiar lo que calzaba con nuestro problema y probarlo. Así llegamos al filtro del RAG y a la detección de documentos, y así también descubrimos lo que no servía. Con Jev, como con cualquier modelo nuevo, la única forma de quitarle el hype fue probándolo.