M3 · Sesión 8 de 12

Optimización de hiperparámetros

Modelos de Aprendizaje Automático
Máster en Inteligencia Artificial, Automatización y Agentes Digitales
Next Educación · Próxima edición
Sami Halawa Ribas

Índice

  • 1Estrategias
  • 2Rigor
  • 3Economía
  • 4Práctica: Búsqueda con presupuesto acotado

Mapa de la sesión

Mapa de la sesiónBLOQUE 1EstrategiasBLOQUE 2RigorBLOQUE 3EconomíaPRÁCTICA ENTREGABLEEstudio de optimización con conclusión sobre el presupuesto.
Objetivos de la sesión

Al terminar, el alumno será capaz de

1. Buscar hiperparámetros de forma eficiente.
2. Evitar el sobreajuste al conjunto de validación.
3. Decidir cuándo parar la búsqueda.
Estos objetivos son los que se evalúan en la práctica de la sesión y en la prueba del módulo.
1

Estrategias

M3 · Sesión 8 · Optimización de hiperparámetros

Estrategias

Búsqueda en rejilla y aleatoriaOptimización bayesianaHalving y presupuesto sucesivoEspacios de búsqueda razonables
M3 · Sesión 8 · figura 1 de 3

Estrategias — en la práctica

Qué hay que saber decidir

  • Búsqueda en rejilla y aleatoria
  • Optimización bayesiana

Dónde suele fallar

  • Halving y presupuesto sucesivo
  • Espacios de búsqueda razonables
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
2

Rigor

M3 · Sesión 8 · Optimización de hiperparámetros

Rigor

Validación anidadaSobreajuste al conjunto devalidaciónSemillas y reproducibilidadRegistro de todos los experimentos
M3 · Sesión 8 · figura 2 de 3

Rigor — en la práctica

Qué hay que saber decidir

  • Validación anidada
  • Sobreajuste al conjunto de validación

Dónde suele fallar

  • Semillas y reproducibilidad
  • Registro de todos los experimentos
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
3

Economía

M3 · Sesión 8 · Optimización de hiperparámetros

Economía

SesiónCoste de la búsqueda frente ala mejora obtenidaRendimientos decrecientesCuándo mejorar el dato en vezdel modeloCriterio de parada
M3 · Sesión 8 · figura 3 de 3

Economía — en la práctica

Qué hay que saber decidir

  • Coste de la búsqueda frente a la mejora obtenida
  • Rendimientos decrecientes

Dónde suele fallar

  • Cuándo mejorar el dato en vez del modelo
  • Criterio de parada
Criterio: ninguna de estas decisiones se toma por costumbre; cada una se justifica por escrito en el cuaderno de la sesión.
4

Práctica

Búsqueda con presupuesto acotado

Práctica: Búsqueda con presupuesto acotado

Optimización bayesiana con presupuesto fijo y análisis de rendimientos decrecientes.

Pasos

  1. Definir el espacio de búsqueda.
  2. Ejecutar con presupuesto acotado.
  3. Analizar la ganancia por iteración.
  4. Concluir si compensa continuar.
StackOptuna, scikit-learn
EntregableEstudio de optimización con conclusión sobre el presupuesto.

Ideas que hay que retener

Estrategias: Búsqueda en rejilla y aleatoria
Rigor: Validación anidada
Economía: Coste de la búsqueda frente a la mejora obtenida
Buscar hiperparámetros de forma eficiente.

Para seguir

  • Documentación de Optuna: samplers y pruners
Lectura opcional. El material de referencia obligatorio es el manual del módulo y el cuaderno de la sesión.

Sesión 8 completada

Siguiente paso: entregar «Estudio de optimización con conclusión sobre el presupuesto.»

M3 · Modelos de Aprendizaje Automático
Sami Halawa Ribas · Next Educación