luzgarciap/macs_2021_ml_basics_neural_networks

Mini-course about artificial neural networks as part of the lecture Machine Learning Basics in the IV Mexican School of AstroCosmostatistics (MACS).

MACS 2021. Machine Learning Basics I

La primera parte del curso Machine Learning Basics de la IV Mexican AstroCosmoStatistics School (MACS) consiste en un curso básico y breve sobre Redes Neuronales Artificiales.

Fecha: Lunes 28 de junio de 2021.

Hora: 12:00-13:40.

Instructores: José Alberto Vázquez (ICF-UNAM) e Isidro Gómez-Vargas (ICF-UNAM)

Colaborador: Juan de Dios Rojas Olvera (Facultad de Ciencias, UNAM)

Duración: 70 min + 30 min de preguntas o ejercicios. El mini-curso se divide en tres secciones de 20 min y media hora de práctica.

---

Requisitos

• Una computadora e Internet.
• Una cuenta de Google.

Para evitar instalación de librerías se recomienda Google Colab, el cual es un servicio gratuito de Google para ejecutar notebooks en la nube, permitiendo utilizar Python 2 o Python 3 con CPU, GPU y TPU. Solo es necesario tener una cuenta de Google. Para este mini-curso se requiere entorno de ejecución Python 3.

Desde Google Colab puedes buscar este repositorio, abrirlo y hacer una copia en tu Google Drive para poder guardar tus cambios. También puedes clonar o descargar el repositorio y abrir las notebooks desde Google Colab.

Se recomienda descargar, clonar o acceder al repositorio el día del evento para tener la versión final.

---

Plan del mini-curso

• 12:00-12:10. Introducción

• 12:10-12:30. Primeras neuronas artificiales (Notebook 1).

• 12:30-12:50. Red neuronal con diferentes funciones de activacion y propagación de errores hacia atrás (backpropagation). (Notebook 2).

• 12:50-13:10. Redes neuronales con múltiples capas (Notebook 3).

• 13:10-13:40. Sesión de preguntas o trabajar algún ejercicio en grupo. Por votación, se trabajará en alguno de los ejercicios opcionales en la parte final del mini-curso:

  1. Compuertas lógicas (Notebook 1).
  2. Clasificación lineal (Notebook 1).
  3. Aproximar función con red neuronal de una capa (Notebook 2).
  4. Aprender funciones con redes de múltiples capas y neuronas (Notebook 3).
  5. Reducir tiempos (Notebook 3).
  6. Modelar datos de Supernovas del tipo IA de la compilación JLA (Notebook 3).
  7. Clasificar estrellas, galaxias y cuásares del SDSS-DR14 (Notebook 1 y notebook 3).

---

Referencias

• Sección 1:

  • McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133.

  • Rosenblatt, F. (1958). The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 65(6), 386.

  • https://jontysinai.github.io/jekyll/update/2017/09/24/the-mcp-neuron.html

  • https://sebastianraschka.com/Articles/2015_singlelayer_neurons.html

• Sección 2:

  • Nielsen, M. A. (2015). Neural networks and deep learning (Vol. 25). San Francisco, CA: Determination press.

  • https://kevinbinz.com/2019/05/26/intro-gradient-descent/

  • https://mlfromscratch.com/activation-functions-explained/#/

  • https://towardsdatascience.com/a-visual-explanation-of-gradient-descent-methods-momentum-adagrad-rmsprop-adam-f898b102325c

• Sección 3:

  • https://keras.io/

  • https://igomezv.github.io/2020-10-09-intro-neural/

  • Gómez-Vargas, I., Vázquez, J. A., Esquivel, R. M., & García-Salcedo, R. (2021). Cosmological Reconstructions with Artificial Neural Networks. arXiv preprint arXiv:2104.00595.

  • Gómez-Vargas, I., Esquivel, R. M., García-Salcedo, R., & Vázquez, J. A. (2021). Neural network within a Bayesian inference framework. In Journal of Physics: Conference Series (Vol. 1723, No. 1, p. 012022). IOP Publishing.

  • Vázquez, J. A., Esquivel, R. M., & Gómez-Vargas, I. (2021). Cosmologıa observacional con Redes Neuronales Artificiales. Esta edición fue preparada por el Instituto de Física y el Instituto de Ciencias Físicas de la UNAM., 89.

---

Cartel del evento