Ciudad del Este (Charla Técnica)
¿Y si tu factura dejara de contar tokens? Router, costo real y observabilidad de inferencia en AWS
Ver descripción
Un router puede enviar tareas rutinarias a un modelo abierto y reservar Amazon Bedrock para las más complejas. Pero ¿qué ocurre con el costo por token cuando la GPU pasa parte del día esperando trabajo? Partiendo de un caso público de AWS Builder Center con Amazon SageMaker AI, Bedrock y AgentCore Gateway, veremos cómo distinguir costo a plena carga, costo de capacidad asignada y rendimiento observado. Presentaremos una arquitectura de referencia con EKS, vLLM y un plano de control, y una demo breve del SDK Lutflow que genera un informe local a partir de contadores reales. La demo conserva explícitamente las métricas que no están disponibles y cuenta con evidencia histórica como fallback. Cerramos con dónde encaja una capa de observabilidad GPU en Kubernetes frente a servicios gestionados, y qué necesitás para evaluar tu propio workload sin confundir throughput con calidad ni utilización con eficiencia.





