M3 · Sesión 2 de 12

Validación: particiones y validación cruzada

Modelos de Aprendizaje Automático
Máster en Inteligencia Artificial, Automatización y Agentes Digitales
Next Educación · Próxima edición
Sami Halawa Ribas

Índice

  • 1Esquemas
  • 2Fugas
  • 3Incertidumbre
  • 4Práctica: Esquema de validación a prueba de fugas

Mapa de la sesión

Mapa de la sesiónBLOQUE 1EsquemasBLOQUE 2FugasBLOQUE 3IncertidumbrePRÁCTICA ENTREGABLECuaderno con esquema verificado e intervalo de la métrica.
Objetivos de la sesión

Al terminar, el alumno será capaz de

1. Diseñar un esquema de validación adecuado al problema.
2. Evitar la fuga a través de la partición.
3. Estimar la incertidumbre de la métrica.
Estos objetivos son los que se evalúan en la práctica de la sesión y en la prueba del módulo.
1

Esquemas

M3 · Sesión 2 · Validación: particiones y validación cruzada

Esquemas

Hold-out, k-fold y estratificadoValidación agrupada por entidadValidación temporal y ventanas deslizantesValidación anidada
M3 · Sesión 2 · figura 1 de 3

Esquemas — en la práctica

Qué hay que saber decidir

  • Hold-out, k-fold y estratificado
  • Validación agrupada por entidad

Dónde suele fallar

  • Validación temporal y ventanas deslizantes
  • Validación anidada
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
2

Fugas

M3 · Sesión 2 · Validación: particiones y validación cruzada

Fugas

Fuga por preprocesado fuera delfoldFuga por duplicados entreparticionesFuga temporalDetección práctica de fuga
M3 · Sesión 2 · figura 2 de 3

Fugas — en la práctica

Qué hay que saber decidir

  • Fuga por preprocesado fuera del fold
  • Fuga por duplicados entre particiones

Dónde suele fallar

  • Fuga temporal
  • Detección práctica de fuga
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
3

Incertidumbre

M3 · Sesión 2 · Validación: particiones y validación cruzada

Incertidumbre

SesiónVariabilidad entre foldsIntervalos sobre la métricaCuántos folds y por quéComparación estadística entremodelos
M3 · Sesión 2 · figura 3 de 3

Incertidumbre — en la práctica

Qué hay que saber decidir

  • Variabilidad entre folds
  • Intervalos sobre la métrica

Dónde suele fallar

  • Cuántos folds y por qué
  • Comparación estadística entre modelos
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
4

Práctica

Esquema de validación a prueba de fugas

Práctica: Esquema de validación a prueba de fugas

Diseño y verificación del esquema de validación del proyecto, incluida la variante temporal.

Pasos

  1. Diseñar el esquema adecuado al caso.
  2. Implementarlo con pipeline de scikit-learn.
  3. Introducir una fuga deliberada y detectarla.
  4. Reportar métrica con intervalo.
Stackscikit-learn
EntregableCuaderno con esquema verificado e intervalo de la métrica.

Ideas que hay que retener

Esquemas: Hold-out, k-fold y estratificado
Fugas: Fuga por preprocesado fuera del fold
Incertidumbre: Variabilidad entre folds
Diseñar un esquema de validación adecuado al problema.

Para seguir

  • scikit-learn: cross-validation user guide
Lectura opcional. El material de referencia obligatorio es el manual del módulo y el cuaderno de la sesión.

Sesión 2 completada

Siguiente paso: entregar «Cuaderno con esquema verificado e intervalo de la métrica.»

M3 · Modelos de Aprendizaje Automático
Sami Halawa Ribas · Next Educación