Este repositorio documenta el trabajo realizado para la Tarea 1 en el marco del curso Procesamiento de Datos Masivos IIC2440 el primer semestre del 2023. El objetivo es identificar pares usuarios similares a partir de una muestra de tweets, empleando locality-sensitive hashing (LSH) para posibilitar la comparación en un tiempo razonable.
Puedes encontrar una explicación de los supuestos adoptados aquí.
El proyecto tiene la siguiente estructura
-
tarea.ipynb
- Notebook donde se ejecuta y describe el proceso completo. Se especifican supuestos y cada paso es 100% reproducible. Se debe ejecutar antes que los otros ya que se generan archivos requeridos en pasos posteriores. Requiere que los datos crudos estén presentes en el directorio raíz del repositorio. -
hashing.py
- Contiene la implementación de SuperMinHash. -
pre_procesamiento.py
- funciones de manipulación de strings empleadas para pre procesar los datos. -
fhs/
- Contiene los pasos intermedios del proceso de construcción de la firma de hash (generado entarea.ipynb
). Si el notebook no ha sido corrido el directorio estará vacío.file0.obj
$\vdots$ file3.obj
-
processed_tweets/
- Contiene los pasos intermedios del proceso de pre-procesamiento de los datos (generado entarea.ipynb
). Si el notebook no ha sido corrido el directorio estará vacío.resumen0.obj
resumen1.obj