jdsanto/datos-tp2

datos-tp2's Issues

Agregar reviewNB

Agregar reviewNB al repo

Generación automática de HTMLs para Noteboks

sklearn - MLPRegressor

Modelo de red neuronal

Cualquier modelo de red neuronal no va a dar buenos resultados para resolver el precio de las propiedades, pero podemos observar cómo el error de precios obtenidos del set de entrenamiento y del set de testeo son casi idénticos (sin overfitting, underfitting)

RMSLE MLPRegressor (train): 0.48541
RMSLE MLPRegressor (test): 0.48735

lightgbm

Funcionando en el branch lightgbm con algunos features.

Se buscaron hiperparámetros con hyperopt, pero este tiende a devolver un número de nodos por árbol bastante alto, resultando en un modelo más complejo.

Actualmente hay una diferencia significante entre los errores de precios obtenidos del set de entrenamiento y testeo, lo que implica overfitting.

RMSLE LightGBM (train): 0.25099
RMSLE LightGBM (test): 0.31631

Dolarizar

Hacer un par de funciones (en un notebook nuevo que se llame utils) que permitan la ida y vuelta de dólar/peso mexicano.

Ambas funciones necesitarían el dataframe con el precio de la publicación (en la moneda correspondiente) y la fecha para realizar la conversión.

Podríamos evaluar también la posibilidad de ajustar los precios mexicanos a inflación.

Unificar RMSLE

Unificar la función de RMSLE en el notebook utils

Features de promedios

Por el momento el feature más relevante que tenemos es promedio_idzona. Ayuda a identificar las zonas caras/baratas y los modelos ajustan bien al dato. El problema es que trae mucho overfitting.

Una de las razones puede ser que hay zonas con muy pocas (o una sola) propiedades, entonces para estas zonas estamos literalmente agregando el precio como feature, causando overfitting.

Tanto este feature como cualquier otro de promedios que tengamos, deberíamos evaluar si queremos "generalizar" aquellos casos que tengan pocos ítems para promediar.

Por ejemplo. En aquellos idzona que tengan solo cinco propiedades o menos, el valor de promedio_idzona para estas propiedades le podríamos asignar el promedio de la ciudad, o el de la provincia.