Problema con dask_ml.preprocessing

[astrojuanlu]

Problema con dask_ml.preprocessing

[astrojuanlu]

Hola @paul-jm!

En lugar de crear un dd.DataFrame directamente, usa los métodos from_array, from_pandas y similares:

https://docs.dask.org/en/latest/dataframe-api.html#create-dataframes

De manera mas amplia, deberia utilizar dask_ml en lugar de sklearn en todas las intancias?

¡Cuanto más Dask ML mejor!

[paul-jm]

Gracias!

Ahora estuve intentando correr algunas lineas de codigo en el client, recibiendo un futuro. Lo que pasa es que están tardando mucho, mientras que el notebook entero no tardaba mas 15 minutos cuando utilizábamos pandas. Es normal que pase eso? Debería de modificar algo en las capturas de pantalla?

Atte,
Paul

[astrojuanlu]

Tal vez tenga que ver con los metadatos, o con que apply en Dask es más lento por algún motivo - de primeras no sabría decir cuál puede ser el bottleneck sin ejecutar el código. Si te supone un problema, mándame el notebook y lo miramos con detalle.