pem-humboldt/biotablero-scrum

Just for project management

Programa de Evaluación y Monitoreo de la biodiversidad

Diseña, implementa y da realimentación sobre metodologías para la evaluación y monitoreo de la biodiversidad, a través de la recolección, integración, análisis, interpretación y divulgación de datos propios o producto de la articulación con otros actores, para sintetizar y posicionar conocimiento sobre el estado y tendencias de la biodiversidad y los servicios ecosistémicos en Colombia, de manera incidente y oportuna. Así mismo, almacena, estructura y analiza, por medio de un enfoque transdisciplinario que incluye aproximaciones estadísticas, matemáticas y socioeconómicas, los datos e información obtenidos por Colecciones Biológicas y los programas de Ciencias Básicas y Ciencias Sociales.

biotablero-scrum's Issues

Carga en la base de datos de la información de huella humana actual y años anteriores

Descripción:

Importar en la base de datos la información pre calculada para el valor actual de huella humana y años anteriores, discriminada por categorías previamente definidas. Igualmente cargar las geometrías asociadas.

Resultado:

Tablas o registros en la base de datos con la información solicitada.

Funcionalidad asociada en el Frontend:

En la pestaña "Paisaje", mostrar gráfico y mapa asociado (Huella humana en el tiempo en el área de consulta / Total por ecosistema estratégico).

Consideraciones:

Analizar como el esquema actual para guardar la información en la base de datos se adecua a la estructura de la información solicitada, o si es necesario crear nuevas tablas, campos, etc.

Generar scripts sql para calcular el campo binary_protected

Descripción:

Generar scripts sql para calcular el campo binary_protected en las tablas de huella humana

Resultado:

Scripts para para calcular el campo binary_protected en la base de datos como función independiente

Funcionalidad asociada en el Frontend:

Consideraciones:

Revisión de tablas entre bases de datos de producción y desarrollo

Comparar las tablas entre las bases de datos de producción y desarrollo, y verificar cuales se están consultando desde el Backend

Review wetlands shapefiles

Make an overview of the information available on the shapefiles for wetlands coverages for years 2002, 2009 & 2012.
Fix and set a common name for attributes as named on geo_paramo_details and geo_tropical_dry_forest_details.
The expected result or product for this issue are 3 shapefiles for each year of available information.

Documentar Github actions en el documento del flujo de trabajo

Descripción:

Agregar al documento del flujo de trabajo una explicación de los github actions configurados actualmente para los repositorios a los que aplique.

Resultado:

Documento del flujo de trabajo con la documentación de los github actions

Funcionalidad asociada en el Frontend:

Consideraciones:

Volver a subir los datos de la capa de humedales por datos faltantes

Volver a subir los datos de la capa de humedales por datos faltantes luego de la revisión de la versión de pruebas hechas por el equipo temático

Carga en la base de datos de la información de huella humana actual

Descripción:

Importar en la base de datos la información pre calculada para el valor actual de huella humana, discriminada por categorías previamente definidas. Igualmente cargar las geometrías asociadas.

Resultado:

Tablas o registros en la base de datos con la información solicitada.

Funcionalidad asociada en el Frontend:

En la pestaña "Paisaje", mostrar gráfico y mapa asociado (Huella humana actual en el área de consulta).

Consideraciones:

Analizar como el esquema actual para guardar la información en la base de datos se adecúa a la estructura de la información solicitada, o si es necesario crear nuevas tablas, campos, etc.

Reestablacer base de datos de producción en base de datos de desarrollo

• Copiar las 5 tablas de huella humana de DEV a PROD

• Desplegar BioTablero de manera local apuntando a la base de datos de PROD y probar funcionalidad básica de huella humana

• Generar Backup de toda la base de datos de PROD

• Reestablecer base de datos de PROD en el docker de la base de datos de DEV

• Desplegar BioTablero de manera local apuntando a la base de datos de DEV y probar funcionalidad básica

Actualizar nombres de autoridades ambientales

En el documento de datos de huella humana se anexó un reporte sobre las diferencias entre los datos entregados en las capas de huella humana y los que ya habían en la base de datos.

Con base a ese reporte, se deben actualizar los nombres de algunas autoridades ambientales en la base de datos.

Review shape and structure for páramos layer

• Review and structure layer data (clean up)

ETL job for wetlands table

The expected product for this issue contains:

A table geo_wetlands_details, grouping shapefiles for 2002, 2009 and 2012 created on issue #13.
fixed names for the table attributes, based on the ER model and geo_paramo_details and geo_tropical_dry_forest_details.

Simplificación de las geometrías de HF (years)

Descripción:

Se realiza un proceso de simplificación de las geoemtrías desde QGIS

Resultado:

Capas shape simplificadas, conservando la mejor relación tamaño-de-arcchivo/detalle del polígono

Funcionalidad asociada en el Frontend:

Visor de mapas para HF

Consideraciones:

Carga en la base de datos de la información de persistencia de huella humana

Descripción:

Importar en la base de datos la información pre calculada para el valor de persistencia de la huella humana, discriminada por categorías previamente definidas, que son: Estable natural, dinámica y estable alta. Igualmente cargar las geometrías asociadas.

Resultado:

Tablas o registros en la base de datos con la información solicitada.

Funcionalidad asociada en el Frontend:

En la pestaña "Paisaje", mostrar gráfico y mapa asociado (Persistencia de Huella humana en el área de consulta).

Consideraciones:

Analizar como el esquema actual para guardar la información en la base de datos se adecúa a la estructura de la información solicitada, o si es necesario crear nuevas tablas, campos, etc.

Area in hectares for some tables

As a request from @erikasv a field area_ha was included on tables:
geo_environmental_authorities.
geo_protected_areas.
geo_states.
geo_basin_subzones.

Load dissolved geometries for area_type

By solving this issue, 4 shapefiles must be loaded for years 2002, 2009, 2012.
For a total of 12 shapefiles, on a new table geo_colombia_coverages.
This new table is going to be a features storage consolidating the named years and geofences geometries.

Update attributes on Paramos table

geographical units ID

[Spike] Realizar pruebas sobre las capas de huella humana

Descripción:

Realizar pruebas sobre las capas de huella humana que ya están en la base de datos, eliminando los registros con hf_avg = -9999 de tal manera que permita evaluar si hay mejoras en los tiempos de respuesta de la carga de las capas y el almacenamiento

Resultado:

Tiempos de respuesta y almacenamiento de las capas bajo los 2 escenarios

Funcionalidad asociada en el Frontend:

Consideraciones:

Una vez realizadas las pruebas, notificar a Jaime y su equipo para tomar una desicion frente al paso a seguir

[Spike] New Graphics

Consultas

• Area (percentage and Ha). per strategic ecosystems
• Ecosystem % per Protected area.
• Cover type (Natural and transformed).

Ecosistemas Estratégicos

• National area (Ha & %)
• Cover change
• % in protected areas.

Volver a cargar los datos de huella humana

Jaime iba a corregir unos errores de los datos que se cargaron de huella humana, entonces toca volver a cargarlos. Tener en cuenta las siguientes cosas:

• Verificar previa a la carga de la consistencia y estructura de los nuevos datos.
• Asignar llave primaria (la vez anterior se nos olvidó), tene ren cuenta lo que se ha puesto en la persistencia del backend para este atributo
• Generar la columna binary_protected

Verificar consistencia de los datos

Verificar que los datos de ids (departamentos, subzonas, etc) de las capas que entregó Jaime sean congruentes con los valores que tenemos en la bsae de datos.

Connect Strategic Ecosystems data with API

Upload new shapefiles into postgres

In this issue, the several files generated by Jaime must be uploaded as database tables into the test environment.

Definir el modelo para los datos de la sección de Conectividad

Junto con el equipo temático, definir cómo sería el modelo de los datos de Conectividad para integrarlo en la base de datos de BioTablero.

Resultado esperado:

Documento con la definición del modelo de los datos.

Load data for protected areas and coverage change graphs by geofence

Discutir y definir atributos y campos de información de HF

Descripción:

Socializar los campos nuevos que se requieren para registrar la información relacionada con HF.

Resultado:

Conocimiento del estandar de la base de datos y los nombres de las columnas nuevas.

Funcionalidad asociada en el Frontend:

Todas las gráficas

Consideraciones:

Update ER Model

This issue proposes to update the ER model for biotablero tables by including and modifying the latest tables definitions

Tables for ANH mirror

By solving this issue a list of tables used in BioTablero and disk space needs must result, in order to produce a mirror application for the ANH porpuses.

migrate modified and new tables

The result for this issue is a backup folder with the modified and new tables from the DB test environment in a way to upload them into the production DB.
The tables involved in this issue and the tasks needed for each one are:

[] geo_municipalities - delete/create/index
[] geo_paramo_details - delete/create/index
[] geo_tropical_dry_forest_details - delete/create/index
[X] geo_mangrove_details - index
[X] colombia_coverage_details create/index
[] colombia_wetland_details create/index
[X] global_binary_protected_areas create/index

Review shape and structure Bosque Seco

Simplificación de las geometrías de HF (years 3)

Descripción:

Se realiza un proceso de simplificación de las geoemtrías desde QGIS

Resultado:

Capas shape simplificadas, conservando la mejor relación tamaño-de-achivo/detalle-del-polígono

Funcionalidad asociada en el Frontend:

Visor de mapas para HF

Consideraciones:

Update ER diagram with new geo_* tables

Validate colombian_detail table

The expected result for this issue is knowing if the colombia_details table has enough information to represent the Natural, secondary and transform coverages by those geographical entities: Envinromental_authorities, States, Subzones and protected areas.

ETL for Páramo shape file

Inconsistencias entre las bases de datos

En la base de datos de desarrollo la etiqueta de áreas no protegidas es "No protegido", mientras que en la base de datos de producción es "No Protegida".

No se sabe qué otras inconsistencias puedan haber.

Adicionalmente decidir qué hacer con las tablas "aux_pa_*" que están en producción, pues no se usan desde el backend.

Move database to a new storage

By solving this issue a new production database must be deployed through a Docker container in the Net Volume attached to 192.168.11.106.

Land Coverages (natural, secondary, transform) 2002, 2009, 2012 by geofences

For each geofence (ea, states, basinSubZones, protectedArea) as shape file according to BioTablero standard.

Configurar endpoints y servicios en el gateway

Configurar los paths de los enpoints para que apunten al servicio correspondiente en el gateway

Implement selected graphics for Strategic Ecosystems

ETL for wetlands coverages

Use the shapefiles generated on issue #13 to populate a new table: geo_wetlands_details.
Fix the attributes names via alter table operations.
Update the codes of all related attributes.
The expected product is a table populated and with attributes names according to the already existing tables geo_paramo_details and geo_tropical_forest_details, backed up.

ETL for Bosque Seco shape file

Carga en la base de datos de la información de huella humana en el tiempo

Descripción:

Importar en la base de datos la información pre calculada para el valor de la huella humana en el tiempo, para cada uno de los años previamente definidos. Igualmente cargar las geometrías asociadas.

Resultado:

Tablas o registros en la base de datos con la información solicitada.

Funcionalidad asociada en el Frontend:

En la pestaña "Paisaje", mostrar gráfico y mapa asociado (Huella humana en el tiempo en el área de consulta).

Consideraciones:

Analizar como el esquema actual para guardar la información en la base de datos se adecua a la estructura de la información solicitada, o si es necesario crear nuevas tablas, campos, etc.

[Indicators] Reviewing component structure for indicator and diagram as well

Defining general components for folder's module

Acceptance criteria:

• Component diagram

Crear gateway

Crear un nuevo proyecto en el gitlab para el gateway de biotablero. Decidimos que será también con express-gateway.

Adicionalmente crear un usuario, app y credencial para ser usados por el front, al cual se le asigne el scope con el que se va a trabajar todos los endpoints por ahora.

Actualizar el sitio de pruebas con la rama release

Group geofences units

Create necessary tables.

• Departamentos y municipios
• Subzonas, zonas y cuencas
• Runap
• Ecosistemas estratégicos

Spike: Análisis de posible implementación de huella humana como microservicio

Analizar posibles implicaciones de migrar funcionalidad de huella humana a microservicio

• ¿Qué tablas comparte huella humana con otras funcionalidades?
• ¿Qué tablas son exclusivas de huella humana?

- ¿Cómo orquestar los múltiples microservicios?
- ¿Qué tan complicada sería la separación de los servicios relacionados con esta sección?

Avance

• Camilo
• Erika
• Angela
• Daniel

Colocar hallazgos como comentarios de esta tarea

Empty and unclassified rows validation

By solving this issue some rows on tables: geo_paramo_details, geo_wetland_details, and geo_tropical_dry_forest_details are going to be deleted as they can not be filtered by most queries expected to be executed on BioTablero, for example, polygons with no environmental authority, or municipality or department near international borders, mostly.

This experience must be shared with Jaime, for new shapes to be generated as the coding and attribute naming standards used on BioTablero database.

Revisión estructura capas HF entregadas

Descripción:

Revisar las capas de HF entregadas por el equipo de Indicadores para encontrar la mejor forma de estructurar esta nueva información e incorporarla en la base de datos actual de BioTablero.

Resultado:

Decidir sobre la forma en la que se incorporará la información, modificaciones al modelo actual y próximos pasos.

Borrar tablas innecesarias de bases de datos de producción y desarrollo

De acuerdo a la revisión y analisis de tablas sobre las bases de datos de desarrollo y producción, borrar tablas que no se usen o que se desconoce su uso. Generar un backup de algunas de estas tablas que se considere que pueden ser usadas o requeridas en un futuro.

Copiar los backups en el directorio //192.168.11.113/BioTablero/Depuracion-SEP2020

Páramos ETL