Posibles soluciones al trabajar con grandes volúmenes de datos = Possibles solucions per treballar amb grans volums de dades

Abstract

Comunicación a cargo de Josep Sitjar (SIGTE-Universitat de Girona) sobre posibles soluciones al trabajar con grandes volúmenes de datos. Al trabajar con volúmenes de datos geográficos significativamente grandes, el uso de índices espaciales resulta imprescindible.

En esta comunicación se expondrán un par de ejemplos prácticos, vinculados a dos proyectos distintos, en los que ha resultado fundamental trabajar con índices espaciales.

El primer caso es un proyecto de webmapping en el que se requiere la visualización de varios miles de puntos geoposicionados. La carga de todas estas entidades en el navegador y su visualización a través de una librería como OpenLayers resulta muy ineficiente sin la aplicación de un índice espacial. En cambio, utilizando la librería Supercluster, que hace uso de RBush para la indexación espacial, el tiempo de respuesta es extraordinariamente rápido. El segundo caso está vinculado a un proceso de análisis espacial cuyo propósito es generar una malla de 5 m2 que cubra una extensa zona e intersectarla con otras capas, cuya geometría es poligonal. La generación de la malla y la intersección con las demás capas resulta inviable, en cuanto a recursos del sistema, en un entorno como QGIS.

En estas circunstancias, el desarrollo de un script en Python, utilizando librerías como Shapely y Fiona, hacen viable el proceso, aunque con un tiempo de ejecución muy elevado. Sin embargo, implementando el índice R-Tree a través de la interfaz STR-Packed de Shapely, el proceso se lleva a cabo de forma sumamente rápida

Comunicació a càrrec de Josep Sitjar (SIGTE-Universitat de Girona) sobre possibles solucions per treballar amb grans volums de dades. En treballar amb volums de dades geogràfiques significativament grans, l’ús d’índexs espacials resulta imprescindible.

En aquesta comunicació s’exposaran un parell d’exemples pràctics, vinculats a dos projectes diferents, en què ha resultat fonamental treballar amb índexs espacials. El primer cas és un projecte de mapatge web en què es requereix la visualització de diversos milers de punts geoposicionats. La càrrega de totes aquestes entitats al navegador i la visualització a través d’una biblioteca com ara OpenLayers resulta molt ineficient sense l’aplicació d’un índex espacial. En canvi, fent servir la biblioteca Supercluster, que utilitza RBush per a la indexació espacial, el temps de resposta és extraordinàriament ràpid.

El segon cas està vinculat a un procés d’anàlisi espacial el propòsit del qual és generar una malla de 5 m2 que cobreixi una extensa zona i intersectar-la amb altres capes, la geometria de les quals és poligonal. La generació de la malla i la intersecció amb les altres capes és inviable, pel que fa a recursos del sistema, en un entorn com ara QGIS.

En aquestes circumstàncies, el desenvolupament d’un script en Python, utilitzant biblioteques com ara Shapely i Fiona, fan viable el procés, encara que amb un temps d’execució molt elevat. Però si s’implementa l’índex R-Tree a través de la interfície STR-Packed de Shapely, el procés es duu a terme de forma summament ràpida