44a Geoinquiets, dijous 2 de març de 2016: Neteja, georeferenciació i representació de dades amb KNIME
A partir d’un fitxer amb informació dels establiments turístics de Catalunya, utilitzarem KNIME per pre-processar, georeferenciar i representar la informació en un mapa amb cartografia OpenMaps a càrrec de Enrique Rodriguez, amb 18 anys d’experiència en Anàlisi de Dades, Intel·ligència de Negoci i Investigació de Mercats. Ha treballat per a agències de publicitat, clients finals i instituts d’estudis de mercat. També ha estat professor associat d’Estadística, Investigació de Mercats i Màrqueting.
En esta sesión Enrique nos explicó con un caso práctico como limpiar y procesar datos provenientes de dades obertes Gencat.
- Descargamos el archivo XML de dades obertes.
- Lo procesamos con OpenRefine para transformar el XML en un archivo de Excel (XLS). El archivo resultante lo pueden descargar aquí rtcbi_st-to16-xml_adreca_completa
- Utilizamos KNIME para hacer todo el proceso.
- Normalizar columnas
- Llamar a la API de google maps para obtener las coordenadas a partir de la columna de direcciones
- Procesar la respuesta de la API y crear las columnas con las coordenadas
- Validar los resultados
- Crear el mapa de puntos sobre una capa de OpenStreetMap.
La receta de Knime la pueden descargar aquí
En Knime cada proceso guarda los datos en disco, por lo que se puede mover todo el proyecto de un ordenador a otro y mantiene los datos.
Al ser un producto openSource existen muchas recetas creadas por la comunidad (sobre todo la Alemana). Un ejemplo de ello es Knime Palladian que tiene múltiples recetas incluido un apartado de Geo Nodes que tiene algunas funciones geo como por ejemplo geocdificar direcciones usando algunos de estos servicios GoogleAddressGeocoder, MapQuestGeocoder, MapzenGeocoder.
En la sesión también se mencionó el servicio de Geofence de Google para Android, este servicio no se puede consumir directamente desde Knime pero se podrían crear recetas para analizar logs creados con el Geofence y poder estudiar comportamientos de usuarios, cliente, etc.
Aquí pueden ver la presentación
Geoinquiets 