devfmx/master-data-ai

Notebooks del Master DS + AI

Bienvenido al repositorio oficial del programa Master en Data Science + Agentes Inteligentes

Acá podrás encontrar recursos como Python notebooks y material adicional de consulta adicional

master-data-ai's Issues

Sistema de evaluación para los alumnos

Objetivo:

Ideas mecanismos para evaluación continua de nuestro alumnos.

• Generar encuestas de inicio de módulo como la elaborada por José Carlos y Kike. Alojarlas en este folder
• Recopilar la información de esos forms y obtener nivel por alumno
• Evaluación mediante Google Colab o Replit para evaluación individual
• [Allan y Juan] Demo de centralización de la evaluación mediante Colab

Colabs de ejercicios básicos de redes neuronales para las sesiones finales de cada tópico dentro del módulo 3.

Como propuesta, presento dos colabs para las clases de la sesión de Cálculo para Machine Learning Pt2 y Probabilidad para Computer Scientist Pt 2.

Para el primer caso, se propone enseñar una red neuronal simple de regresión que resuelve un problema de regresión lineal para mostrar las funciones de algoritmos de optimización del descenso de gradiente y de perdida por mínimos cuadrados (donde se introduce a ella a través de la misma regresión).

Para el segundo caso, se propone enseñar una red neuronal convolucional de clasificación que resuelve un problema de lectura de números para mostrar la parte aplicativa de la función sigmoide (donde se introduce a ella a través de la función de logística) para el uso de capas ocultas.

LIGA: https://drive.google.com/drive/folders/1Du1ICbWq7jZeDFzw3c9qDAL074o7UHti?usp=sharing

Python en tu pc. Cli, scripts, IDE/editors, pip/anaconda

Sustituir/Traducir todo contenido que esté en inglés (Herramientas para DS)

Propuesta - Animaciones Manim: Kata Fundamentos

En relación a la dificultad de aprendizaje en las matemáticas, en general del alumnado, donde muchos de ellos provienen de distintas disciplinas Físico - Matemático ajenas a las Ciencias e Ingenierías como las disciplinas Sociales y Artísticas, se propone una serie de animaciones con la herramienta de Manim.

Para mejorar de forma genérica la experiencia de aprendizaje visual, Manim se enfoca al dinamismo del entorno proyectado a través de letras, fórmulas, gráficos, etc, haciendo uso de la herramienta ya conocidas como LaTeX, haciendo mas profesional las animaciones.

Dicho lo anterior, en la siguiente liga, se muestra una primera fase de lo aprendido de esta herramienta hasta la fecha, realizando únicamente animaciones con letras, y a su vez, una fracción de 3 vídeos para poder apreciar TODO lo que se puede lograr con esta herramienta para este módulo.

LIGA - Drive:
https://drive.google.com/drive/folders/1aT9VGaFaRJF5EYyfBYWql4BC8KKBwyOV?usp=sharing

Propuesta - Challenge Semana 2: Cálculo para Machine Learning

En relación al tópico de Regresión Lineal de los Métodos Numéricos, se muestra en clase, un Colab aplicativo a este tema denominado "Say hello to the 'Hello, World' of ML".

Para complementar lo aprendido al colab antes mencionado, se propone el siguiente colab como un challenge para que los alumnos y alumnas, apliquen lo aprendido en esta práctica.

LIGA - Challenge:
https://drive.google.com/file/d/1eJmIO2tlNasm8hMpw5xLlAEhie92uCBz/view?usp=sharing

LIGA - Challenge Solucionado:
https://drive.google.com/file/d/1WCiCWW6GduolqnoCUHGZmhIiKn6tbVKY/view?usp=sharing

Mejoras a la clase de Power BI

• Añadir instrucciones de parte teórico práctica de la clase:

  • Cargar una base de datos de viajes
  • Los ale�nos dicen qué preguntas quieren responder
  • Mostrarles qué elementos tiene Power BI
  • Mostrarles cómo obtener una determinada gráfica
  • Pueden cargar sus propias bases de datos

• Subir reporta de ejemplo generado con Power BI: Para la clase de Data Visualization con Power BI se realizaron algunas visualizaciones con los alumnos en clase. Subir este reporte como material de apoyo para el sensei que de esta clase en el futuro.

Las últimas dos clases del módulo

Uso de git y github. Control de versiones, github pages.

Revisión de contenido en cada carpeta

• Revisar que cada notebook y challenge tenga su versión en notebook (.ipynb) y como archivo Python (.py)
• Checar que las soluciones de cada challenge estén en Google Drive
• Actualizar los links en las presentaciones para que lleven a Google Drive

Añadir notebook nuevo

https://colab.research

Generar challenges para conformar el PROYECTO

Propuesta:

https://docs.google.com/document/d/1vJxyaWA2R6uItv05vYy4yiodGmLVaAtxq6F6vA8oZvg/edit?usp=sharing

Progreso alcanzado:

En cada una de las carpetas aquí mostradas, se encuentra un Challenge, del 1 al 8:
https://drive.google.com/drive/folders/1ntP4d63QAJn09AuOyXKA_r1OajOpLlK_?usp=sharing

[Leslie] Solicita proyectos reales para la segunda semana del módulo de Proyectos

Definir path y entregables

Mejoras para la clase 1: Introducción a la visualización de datos

Objetivo:

• Reducir la presentación focalizando las partes más importantes.

Progreso alcanzado (28/06/2023):

• Se redujo una gran cantidad de diapositivas que solo hacían ruido, sin embargo, la presentación sigue siendo demasiado larga y me parece que no se ha alcanzado el objetivo a la fecha.

Solicita perfiles para cubrir las 4 vacantes de sensei de Data

La ayuda fue solicitada y puedieron ser cubiertas las vacantes de sensei para el batch 15 🤓

Prototipo de control de versiones

Se propone manejar un control de versiones para el contenido del master:

1. Propuesta de Juan para referenciar el material
2. Prospuesta de Kike para organización del contenido

• Acá el tutorial que usé para instalar las dependencias en mi ambiente local: https://medium.com/@zarinlo/publish-technical-tutorials-in-google-codelab-format-b07ef76972cd
• El repo de sitio web, herramientas para exportar y otros recursos acá: https://github.com/googlecodelabs/tools

Error en la fórmula de la norma de Frobenius en los ejercicios de Numpy

Está escrita como:
$$
\Vert m \Vert_F = \left(
\sum_{i,j=1}^n m_{ij}^2
\right)^{1/2}
$$

Y debería ser:
$$
\Vert m \Vert_F = \left(
\sum_{i=1}^m\sum_{j=1}^n m_{ij}^2
\right)^{1/2}
$$

Arreglar los problemas de la clase 3

• Hacer una versión más corta del ejemplo de Cats VS Dogs (incluir el código para probar imágenes y el de ver el performance del modelo)
• Subir los ejercicios que hemos hecho a una rama del repo
• Apuntar el link del ejemplo de la clase 3 al archivo de Python que creé

Roadmap del contenido de las clases

Etapas:

• Contenido organizado en Google Drive
• Lecturas en Campus con breve resumen del tema y links a presentaciones y colabs
• Migrar contenido de presentaciones a lecturas
  • Generar con base en plantilla y/o formato de la lectura
  • Almacenar imágenes y GIFs en storage de GCP
• Migrar colabs teóricos a replits dentro de Campus
• Migrar colabs de challenge a katas dentro de Campus

Challenges de intro a programación con Python

Crear un notebook que permita tener un resumen de todos los puntos del modulo 2, este debe contener los conocimientos mínimos viables para el tratamiento de datos presentados en el modulo.

Bash 101. Uso de terminal para navegación de directorios, creación, modificación y lectura de archivos.

Mejoras para la clase 2

• DataCamp para hacer visualización
• Divide y vencerás
• Hacer refactor de la clase 2 a algo más orientado a contar una historia con datos

Asentar el plan de clase para las generaciones pares e impares en su primer día en el spreadsheet para el Módulo 1

Mejorar material de clase

• Agregar presentación/challenge a las sesiones que lo requieran.

• Agregar contenido a las presentaciones.

Obtener data de encuestas de zoom

Encuestas comprensión del tema a través de Zoom, podría analizarse conjuntamente con la encuesta del primer día, para evaluar una evolución. Posibilidad de automatizar la recoleccion de estos datos.

Homologar los notebooks de la clase de data cleaning y data visualization con sus notebooks de solución

• Dejar solo uno de los notebooks con las respuestas
• Verificar que uno tenga exactamente las mismas secciones/preguntas que el otro

Material de las últimas dos clases del módulo

Traducir contenido al español

Revisar la clase 4

Challenge modificado para utilizar directamente Augmentation.
Añadir uso de nuevas imagenes para describir convoluciones.

Manejar más dinámica teórica matemática dentro del contenido de la clase para los temas vistos dentro del módulo 3.

Como propuesta, presento unas pizarras para las clases de la sesión de Cálculo para Machine Learning y Probabilidad para Computer Scientist. Así como los apuntes correspondientes a esas clases.

Sin embargo, para aquellos que no tengan pizarra electrónica, pueden ocupar algún otro recurso. El punto es resaltar la parte teórica dinámica.

Así que el contenido de los Slides se volverá mas breve. Y también he editado su diseño.

LIGA: https://drive.google.com/drive/folders/1moZXJacP4XmXts4A6OQUgoQokjJV9nJq?usp=sharing

Crear un dataset que tenga la mayoria de pasos para poder limpiarlo y trabajarlo, ir avanzando clase con clase hacia llegar a un producto final en el que se realizara un analisis y visualizacion de datos.

Propuesta - Cambio de contenido en las presentaciones de la Semana 1 de Kata Fundamentos.

En relación a la dificultad de aprendizaje en las matemáticas, en general del alumnado, se habían propuesto anteriormente, dos alternativas para la mejora de la didáctica, el cuál era, el uso de una pizarra electrónica y el uso de animaciones con la herramienta Manim, para solucionar lo antes mencionado.

En busca de homogeneizar el contenido, se propone las modificaciones de las presentaciones y cambio de orden, donde el contenido, es lo que había en las pizarras, pero con el uso de animaciones de la presentación, sintetizando lo escrito en pizarra y añadiendo pequeños vídeos realizados en Manim, se busca obtener un contenido limpio, formal y dinámico.

Clase 1: Introducción al Cálculo Monovariable para Engineers - Scientist.

LIGA: https://docs.google.com/presentation/d/1R7VNXZaEaqGKz4KLjMEaJZ7uS6bfjS1mrPopqbicGbI/edit?usp=sharing

Clase 2: Introducción al Álgebra Lineal para Deep Learning.

LIGA: https://docs.google.com/presentation/d/163c_ABsudX5-VkDrz2gJlLtGCxkI7DKgy1aNhU5eMCE/edit?usp=sharing

Clase 3: Introducción al Cálculo Multivariabe para Machine Learning.

LIGA: https://docs.google.com/presentation/d/1AC6hDbtvoQPsi9gRKdExsNqsYHEgA2gZI9LtwkgMoxo/edit?usp=sharing

Poder acceder a la asistencia por clase en campus

Revisar clase de subconsultas

Extender la clase de subconsultas porque está muy cortita
El challenge es solo un subconjunto de la de Joins

Revisar códigos de Alex Pimentel

https://github.com/devfmx/master-data-ai/projects/2

La gen 8 quiere proyecto de Data Visualization en el módulo de proyectos

La generación 8 comenzará su módulo de proyectos el 7 de Marzo, es necesario hacer un proyecto especial para ellos pues lo han solicitado. El proyecto debe tener énfasis especial en DataViz

Agregar challenge de POO con soluciones.

Challenge

Añadir un índice de contenido al README.md

Refactor clase 2: revisar la relación entre el notebook de TFDatasets y el challenge

Progreso alcanzado (01/02/2023):

• Se añadieron diapositivas para explicar los fundamentos y partes de los clasificadores binarios y multiclase, tomando como base las redes neuronales.
• Se resolvió el ejercicio de categoría 2 junto con los alumnos en clase.
• Se les dejó el challenge de categoría 2 para desarrollar un clasificador multiclase para el dataset Fashion MNIST.
• Se ocultó el notebook de TF Datasets dado que ya no es relvante.
• Se actualizó el link del challenge en la presentación.

Añadir prototipo de lecturas a un documento para pasarlo a Campus

Añadir elementos de apoyo a las clases de Series de Tiempo

Cambios sugeridos:

• Indicar de forma clara la diferencia entre batch y window. Especificando que dentro de un batch puede haber varias windows y no viceversa.
• Añadir más imagénes o elementos de apoyo para el preprocesamiento de la serie de tiempo, haciendo más claro que hace cada función dentro de la función "windowed_dataset"

Nota de texto

Mejorar el contenido de las carpetas 0-Evironment y 1-TensorFlow Developer Skills

Añadir más referencias, enlaces, literatura y tutoriales específicos

Crear tutorial de primer proyecto integrador: "Crea tu portafolio web con Voila"

Cambiar la redacción de preguntas del proyecto del módulo 2

Hola sensei, tengo una duda respecto al proyecto, una de las tareas es mostrar: Deporte y país con mayor número de atletas no rankeados que entraron en la lista de atletas mejor pagados, no entiendo bien a qué se refiere con eso de "no rankeados"

El objetivo es ver cuáles atletas no tenían ranking en el año pasado, es decir, que en la columna de Previous Year Rank, o su ranking era mayor a 100 o no tenga valor para esa fila.

también en la siguiente si pudieras darme más detalles de que debo obtener, no entendí bien la redacción: País con mayor número de deportes con atletas en el dataset

Respecto a esta pregunta, la redacción más bien sería: obtener el número de atletas por deporte en cada país e indicar qué país tiene más atletas en todos los deportes. Por ejemplo si USA y México tienen ambos 50 atletas en fútbol, pero USA también tiene atletas en basketball y México no, te quedas con USA

Subir de nivel de ranking significa mejorar en el ranking

Comparar 2010 VS 2020 únicamente y no los años intermedios

Completar clase de subconsultas

Objetivos

• Separar el contenido del material base de la clase de Joins.
• Actualizar presentación
• Añadir ejercicios y ejemplos en los notebooks

Material

1. Slides
2. Notebook teórico-práctico
3. Notebook de challenge

Cambios realizados:

• Añadir en el material base las slides de la 5 - 8 del material 1
• Revisión del notebook teórico-práctico
• Revisión del notebook de challenge

Completar temario detallado del módulo

Progreso alcanzado:

https://docs.google.com/spreadsheets/d/1VLqsmpVSrrHFAOGHroRwAT2wdbBPYsyNmIIHhq_i8XU/edit#gid=1568299056

Modificar la primera presentación para mostrar el aspecto motivador e inspiracional en lugar del aspecto técnico