Métricas y criterios del modelo

Resumen

Este documento define qué se mide, cómo se mide y qué umbrales aplican para evaluar la calidad de los modelos de recomendación del proyecto Pedido Sugerido. Cubre tres dimensiones independientes:

1. Métricas de calidad — evalúan qué tan buenas son las recomendaciones del modelo (Nivel 1-2).
2. Métricas de drift — detectan cuándo los datos o el comportamiento del modelo cambian en producción (Nivel 3).
3. Criterios de aprobación — definen cuándo un modelo nuevo se puede promover a producción (Nivel 2-3).

Hallazgo importante del inventario: el pipeline canónico actual (cicd/src/PS_MP_*.py) no computa métricas de calidad de modelo. La función calcular_metricas_y_ensamblar en PS_MP_3_reglas_negocio.py calcula segmentación de clientes (irregularidad, antigüedad), no métricas de recomendación (NDCG, Precision, etc.).

→ Implicación: la implementación de este framework de métricas es parte del alcance del Nivel 2 del proyecto. El AF define el qué/cómo/cuánto; la implementación efectiva entra en el RTM (DOC-AF-07) con criterio testeable.

Métricas de calidad de recomendación

Las tres métricas que la propuesta v2 establece como criterio de éxito:

1. NDCG@10 · Normalized Discounted Cumulative Gain

2. Precision@K

3. Coverage

Métricas complementarias (consideradas pero fuera del scope del Nivel 2)

Métricas de drift · Nivel 3

El Nivel 3 incluye reentrenamiento automático por drift. Esto requiere distinguir tres tipos de drift, cada uno con su propio detector y umbral.

1. Schema drift

2. Data drift (distribuciones de features)

3. Concept drift / Model performance drift

Trigger consolidado de reentrenamiento

El pipeline de retraining se dispara cuando al menos una condición se cumple:

• ⚠️ Schema drift → halt + alerta (no reentreno)
• 🔄 Data drift PSI > 0.25 en 2+ features clave → reentreno
• 📉 NDCG@10 cae > 5% durante 2 semanas → reentreno
• 📅 Reentreno preventivo: cada 30 días aunque no haya drift detectado (garantiza modelo no se "rancea")

Cooldown

Tras un reentreno exitoso, no se dispara otro reentreno por al menos 14 días (evita oscilación en escenarios borderline).

Criterios de aprobación de modelo

Cuando un modelo nuevo entra al Model Registry (Nivel 2), pasa por una secuencia de gates antes de promoverse a producción.

Gate 1 · Tests de regresión automáticos

Gate 2 · Métricas de calidad vs baseline

Si las métricas no superan, el modelo se marca Rejected automáticamente y queda en el Registry como referencia histórica.

Gate 3 · Aprobación humana

Cuándo se requiere (propuesta del AF, a confirmar con AJE en Sesión 2):

• Nivel 2 · siempre. El analista de Athenea aprueba el modelo manualmente antes de promoverlo a producción.
• Nivel 3 · solo cuando el reentreno fue disparado por concept drift (degradación de métricas). Los reentrenos por data drift o preventivos pueden promoverse automáticamente si pasan Gate 1 + Gate 2.

Mecanismo de aprobación:

• Modelo entra al Registry con ModelApprovalStatus=PendingManualApproval.
• Notificación SNS al analista con link al Model Registry.
• Analista revisa métricas y aprueba/rechaza desde la consola SageMaker o vía CLI.

Workflow visual

Modelo entrenado
       │
       ▼
[ Gate 1 · Tests regresión ]
       │
   ✓   │   ✗ → Rejected
       ▼
[ Gate 2 · Métricas vs baseline ]
       │
   ✓   │   ✗ → Rejected
       ▼
[ Gate 3 · Aprobación humana ]
       │
   ✓   │   ✗ → Rejected
       ▼
   Approved
       │
       ▼
Deploy a producción (endpoint o batch pipeline)

Storage de baselines y métricas

Esto se reconfirma en DOC-AF-08 (Catálogo de monitoring) con las alarmas correspondientes.

Métricas operacionales (complementarias a las de modelo)

Además de las métricas de calidad del modelo, el pipeline tiene métricas operacionales que también requieren tracking. Estas se cubren en detalle en DOC-AF-08 Catálogo de monitoring, pero se mencionan acá por completitud:

Riesgos identificados

Próximos pasos

1. Sesión 2 (Mié 20-may) · validar con AJE:
   • El umbral Coverage ≥ 30% (o ajustar por país)
   • El criterio de bloqueo de Gate 2 sobre Precision (suave vs duro)
   • La política de aprobación humana en Nivel 2 vs Nivel 3
   • La frecuencia de cómputo semanal de NDCG@10
2. Durante Desarrollo Nivel 1 · computar baselines reales por país y poblar las tablas de este documento con valores concretos.
3. Touchpoint Nivel 2 (Lun 15-jun) · confirmar el storage de baselines, el workflow de aprobación humana y los thresholds finales antes de implementar.
4. Touchpoint Nivel 3 (Lun 6-jul) · confirmar los thresholds de drift con data observada de 4 semanas en Nivel 1+2 (no asumidos).