Concesiones BDNS es un proyecto destinado a descargar de manera eficiente todo el conjuntos de datos sobre concesiones de la Base de Datos Nacional de Subvenciones (BDNS). La base de datos pública de subvenciones es conocida por su lentitud, y la plataforma web presenta desafíos para el análisis de datos. Nuestro objetivo es proporcionar una solución para obtener una copia local de la base de datos completa, permitiendo así un análisis más eficiente y rápido.
- Descarga asíncrona de datos utilizando múltiples procesos
- Descarga de datos en lotes basados en día o mes
- Manejo eficiente de la paginación de la API
- Almacenamiento organizado de los datos descargados en carpetas separadas por año
- Seguimiento del progreso a través de archivos de registro (logs)
- Manejo de errores y mecanismos de reintento
Este proyecto está diseñado para facilitar el acceso a los datos públicos de subvenciones de la BDNS. Sin embargo, es responsabilidad de cada usuario asegurarse de cumplir con las políticas y términos legales relacionados con el uso y la reutilización de estos datos. Los autores de este proyecto no se hacen responsables de cualquier mal uso de la herramienta ni del uso de los datos descargados. Por favor, asegúrese de revisar y entender los términos y condiciones del uso disponibles en el Aviso Legal de la BDNS antes de utilizar esta herramienta y los datos extraídos.
Para empezar, clona este repositorio y sigue las instrucciones a continuación:
- Configura un entorno virtual (opcional pero recomendado):
python -m venv venv
source venv/bin/activate # En Windows: venv\Scripts\activate
- Instala las dependencias necesarias:
pip install -r requirements.txt
-
Configura tus ajustes en el archivo settings.py. -
Ejecuta el script principal para iniciar el proceso de descarga:
python main.py
Los archivos y el progreso de la descarga se guardan por defecto en el directorio snapshot-YYYY-MM-DD
con fecha actual
mas información sobre el Diseño
Estamos abiertos a colaboradores para ayudar a mejorar y expandir el proyecto Concesiones BDNS. Si deseas contribuir, sigue estos pasos:
- Haz un fork de este repositorio.
- Cree una nueva rama para tu funcionalidad o arreglo de bugs.
- Desarrolla cambios y agrega test si corresponde.
- Asegúrate de que tu código siga el estilo de código establecido y pase todas los tests.
- Envía una solicitud de pull request para su revisión.
Agradecemos tu interés en contribuir al proyecto Concesiones BDNS y esperamos trabajar juntos.
Pásate por el Discord de Antifraude para discutir el desarrollo de esta y otras herramientas relacionadas
Este proyecto está licenciado bajo la Licencia MIT.