Archive de la catégorie: ‘Uncategorized’

QGIS HackFest − 2ème jour

Dimanche, 14 Novembre 2010

Journée bien remplie avec beaucoup de discussion. Elle commence avec du code et de la documentation.

Ensuite une première session d’audit d’ergonomie est organisée. Il s’agit de parcourir toutes les fenêtres de QGIS, et de déterminer pour chacune si elle doit être modifiée ou si elle est correcte en l’état. Beaucoup de discussion sur les différentes manières de présenter une information, et les cas d’utilisation associés. Cela permet de faire émerger des manques généraux de l’application, des widgets et des fenêtres à refactoriser. Beaucoups de points divers et variés sont soulevés et devront être corrigés. Certains sont des détails, d’autres nécessitent des efforts plus importants. La session est ajournée après plusieurs dizaines de fenêtres passées en revue et quelques heures de discussion.

Une présentation de Pirmin Kalberer de Sourcepole détaille ses développement sur un plugin de globe 3D pour QGIS, synchronisé avec la vue 2D. Ce plugin est fonctionnel dans la branche «threading» de QGIS, mais nécessite encore beaucoup d’améliorations. Il ne fonctionne pour le moment qu’avec des données en latitude/longitude, car les fonctions de reprojection raster ne sont pas encore présentes dans le coeur de l’application. Les fonctionnalités de synchronisation et de navigation sont aussi en cours d’amélioration. D’autres pistes de travail sont envisagées, mais il faut auparavant stabiliser la branche «threading» et la passer dans le trunk du code.

stereo_globe_screen

QGis Goes 3D

Martin Dobias enchaine donc sur l’état de cette branche. Le principe est de faire un rendu multithreadé. Cela permet d’une part d’améliorer la vitesse d’affichage (jusqu’à deux fois plus rapide), et de passer le rendu indépendant du reste de l’interface, autorisant l’utilisateur à continuer à utiliser la fenêtre principale pendant l’affichage du rendu cartographique. Le code de cette branche est quasiment finalisé dans ses grandes lignes, il reste quelques points à améliorer. Mais surtout il faut des tests intensifs, car la gestion de threads conccurents amène parfois à des cas complexes de «race condition» et plantage de l’application. La question est posée d’une solution pour augmenter les tests de cette branche : une inclusion dans le trunk précoce quitte à avoir une application instable pendant un moment (en version de développement uniquement), ou la diffusion de binaires qui permettront l’installation et les tests plus facilement ?

tim_3D

Tim Sutton goes 3D

Un des gros morceaux à aborder est ensuite la gestion des plugins, la façon dont ils sont gérés, et la façon dont ils s’insèrent dans l’interface. Une proposition est faite par Martin et Borys Jurgiel, avec un mécanisme d’installation basé sur un dépot web central, et des dépots de code distribués. L’interface dans QGis pour l’installation et la gestion des plugins serait également refaite pour intégrer de nouvelles métadonnées et aller chercher les plugins sur le nouveau dépôt.
La partie plus complexe est aussi la façon dont les plugins s’insèrent dans l’interface générale. La proposition est ici de faire une gestion contrôlée par l’utilisateur, à base de toolboxes et toolbars configurables à souhait, et une gestion de profils pour adapter l’interface à un usage spécifique.
Cette partie nécessite encore de l’affinage pour convaincre totalement, et il reste un certain nombre de problèmes discutés qui sont encore à résoudre, comme la gestion des tickets de rapport de bug sur les plugins, la sécurité sur le dépot, l’inclusion de plugins dans la version packagée de QGIS, la gestion de la qualité et des guides de bonnes pratiques dans les contributions utilisateur, la mise en avant de plugins de bonne qualité, et quelques autres points annexes.

La journée se termine tard et il reste nombre de points à aborder pour le lendemain.

QGIS HackFest − Jour 0

Vendredi, 12 Novembre 2010

Départ de Paris sous la pluie, passage par Munich pour une visite de l’aéroport, avant de rejoindre Wroclaw en début de soirée.

tickets_tiny

Nos hôtes Pawel et Milena nous récupèrent, avec une petite délégation de SourcePole. On passe par le lieu de l’évènement où une dizaine de développeurs sont déjà au travail. Direction ensuite l’hotel proche pour un repas.

C’est l’occasion de mettre des visages sur des noms de mailing lists, et des surnoms IRC. C’est aussi l’occasion de discussions générales sur QGIS, et de premiers plans de travail. Parmi les sujets évoqués :

  • Refonte de l’utilisation de PostGIS, Spatialite, et des bases de données en général.
  • Gestion de la documentation, pour faciliter le travail des traducteurs
  • Gestion des plugins, pour pouvoir gérer leur maintenance, et faciliter leur utilisation par les utilisateurs
  • Développement sur Globe

Comme les communautés de développeurs sont mondiales, tout le monde a l’occasion de participer quasi en réel grâce au streaming vidéo mis en place :

PostgreSQL 9.0 + PostGIS 1.5.2

Lundi, 27 Septembre 2010

Nous avons attendu un peu avant d’annoncer le grand évènement qu’est la sortie de PostgreSQL 9.0. D’autres s’en sont chargés auparavant un peu partout sur le web.

Nous avons en fait attendu la sortie de PostGIS 1.5.2, nouvelle version mineure qui vient de voir le jour. Cette version apporte la compatibilité avec PostgreSQL 9.0 ceci expliquant cela.

PostgreSQL 9.0

PostgreSQL 9.0 est une version majeure, qui voit le panel de fonctionnalités de ce SGBD encore élargi, de façon impressionnante. Les fonctionnalités phares de cette sortie sont principalement :

  • Streaming Replication, ou réplication continue. Cela permet d’avoir un serveur répliqué avec un faible temps de latence entre les deux copies.
  • HOT standby permet d’utiliser le serveur de réplication en lecture seule, en faisant un système de répartition de charge.

La conjonction de ces deux features offre des possibilités en terme de réplication, de tenue à la charge, de haute disponibilité directement incluses dans le coeur de PostgreSQL.

D’autres nouveautés sont également au programme, notamment :

  • Intégration de la mise à niveau sur site (pg_upgrade), simplifiant grandement les mises à jour, sans avoir à faire de backup/reload des bases.
  • Authentification RADIUS
  • Vérification de la force des mots de passe (passwordcheck)
  • Commandes facilitant la gestion des permissions de la base (GRANT ON ALL et DEFAULT PERMISSIONS)
  • Contraintes d’unicité retardées
  • Déclencheurs sur condition, déclencheurs de niveau colonne
  • Tri dans les agrégats
  • Nouvelles fonctions de fenêtrage (ROWS PRECEEDING et FOLLOWING)
  • Blocs de code procédural anonyme (instruction DO)
  • Procédures stockées Perl et Python améliorées (incluant le support de Python 3)
  • Appels par paramètres nommés
  • Messagerie d’événements améliorée (LISTEN/NOTIFY)
  • Support de Windows 64-bit
  • Optimisation des requêtes produites par les ORM (suppression de JOIN)
  • Clés d’unicité pour les données non-scalaires (contraintes d’exclusion)
  • Support étendu des données clé-valeur (HStore)
  • Plans aux formats JSON et XML

PostGIS 1.5.2

La nouvelle version de PostGIS apporte quant à elle d’une part la compatibilité de PostGIS avec PostgreSQL 9.0, ce qui est la raison principale de cette sortie, mais également quelques corrections de bugs, détaillés ci dessous.

Les binaires pour windows seront bientôt disponibles, ainsi que la mise à jour du Stackbuilder PostgreSQL, et des binaires 64 bits Windows. Les paquets ne devraient pas tarder à être intégrés dans les distributions Linux, les source sont là, alors n’hésitez pas à migrer !

- Bug Fixes
   - Loader: fix handling of empty (0-verticed) geometries in shapefiles.
     (Sandro Santilli)
   - #536, Geography ST_Intersects, ST_Covers, ST_CoveredBy and
     Geometry ST_Equals not using spatial index (Regina Obe, Nicklas Aven)
   - #573, Improvement to ST_Contains geography
   - Loader: Add support for command-q shutdown in Mac GTK build (Paul Ramsey)
   - #393, Loader: Add temporary patch for large DBF files
     (Maxime Guillaud, Paul Ramsey)
   - #507, Fix wrong OGC URN in GeoJSON and GML output (Olivier Courtin)
   - spatial_ref_sys.sql Add datum conversion for projection SRID 3021
     (Paul Ramsey)
   - Geography - remove crash for case when all geographies are out of
     the estimate (Paul Ramsey)
   - #469, Fix for array_aggregation error (Greg Stark, Paul Ramsey)
   - #532, Temporary geography tables showing up in other user sessions
     (Paul Ramsey)
   - #562, ST_Dwithin errors for large geographies (Paul Ramsey)
   - #513, shape loading GUI tries to make spatial index when loading DBF only
     mode (Paul Ramsey)
   - #527, shape loading GUI should always append log messages
     (Mark Cave-Ayland)
   - #504 shp2pgsql should rename xmin/xmax fields (Sandro Santilli)
   - #458 postgis_comments being installed in contrib instead of
     version folder (Mark Cave-Ayland)
   - #474 Analyzing a table with geography column crashes server
     (Paul Ramsey)
   - #581 LWGEOM-expand produces inconsistent results
     (Mark Cave-Ayland)
   - #471 DocBook dtd errors (Olivier Courtin)
   - Fix further build issues against PostgreSQL 9.0
     (Mark Cave-Ayland)
   - #572 Password whitespace for Shape File to PostGIS
     Import not supported (Mark Cave-Ayland)
   - #603 shp2pgsql: "-w" produces invalid WKT for MULTI* objects.
     (Mark Cave-Ayland)
 - Enhancement
   - #513 Add dbf filter to shp2pgsql-gui and allow uploading dbf only
     (Paul Ramsey)

MapServer 5.6.5 et 4.10.6

Lundi, 19 Juillet 2010

De nouvelles versions de MapServer ont récemment vu le jour : la 5.6.4 suivie de la 5.6.5 et la 4.10.6. Les sources des versions précédentes ont également été patchées.

Ces nouvelles versions n’apportent aucune nouvelle fonctionnalités, mais n’en sont pas moins importantes car elles corrigent des failles de sécurité. En effet comme le souligne Daniel Morissette, l’augmentation du nombre de déploiements de MapServer a fait que de plus en plus d’organismes effectuent des audit du code source. Cela est rendu possible par la nature OpenSource de MapServer, et le dépôt subversion public. Et de fait cela conduit à une amélioration de la qualité du produit, car ici ces audits ont permis d’identifier des failles potentielles dans l’interface CGI de MapServer.

Sans rentrer dans les détails, ces failles étaient causées par la possibilité de passer des arguments de ligne de commande au programme CGI de MapServer. Les arguments qui pouvaient être donnés pour du Debug de développement étaient susceptibles de poser des problèmes de sécurité. Ils ont donc été désactivés, à part quelques options sans risque comme -v. Une faille de type «buffer overflow» a aussi été découverte et corrigée.

Ces corrections n’affectent pas les fonctionnalités et ne devraient avoir aucun impact négatif pour les utilisateurs de MapServer. Seuls les développeurs pourraient être impactés.

D’autres informations plus génériques ont aussi été tirées de cet audit, qui devraient profiter à la sécurité et la robustesse générale du futur MapServer 6.0.

La version 5.6.5 corrige elle un bug sur le calcul d’échelle qui provoquait un mauvais fonctionnement de MINSCALE/MAXSCALE.

Vous pouvez télécharger les nouvelles versions et les installer :

http://mapserver.org/download.html#binaries

A noter que les paquets Debian et Ubuntu devraient désormais être à jour (vérifiez tout de même que vous avez bien mis la liste des paquets à jour et que les numéros de version correspondent).

La liste complète des changement est accessible à l’adresse suivante :

http://lists.osgeo.org/pipermail/mapserver-users/2010-July/066052.html

et

http://lists.osgeo.org/pipermail/mapserver-users/2010-July/066134.html

EDIT : ajout de la sortie de la 5.6.5. Merci à Daniel Morissette pour le commentaire judicieux.

Conférences Oslandia SIG-LL 2010

Jeudi, 13 Mai 2010

Oslandia a participé aux rencontres SIG-La Lettre 2010. Le blog GeoTribu présente un résumé intéressant d’une partie des conférences. Un village OpenSource était aussi organisé, au sein duquel divers intervenants ont enchainé des présentations.

Vincent Picavet a présenté PostGIS, Spatialite et GraphServer dans trois créneaux. Vous pouvez retrouver les supports de présentation ci dessous.

  • PostGIS, un module spatial pour PostgreSQL, est une présentation générale de PostGIS, le plugin de PostgreSQL pour l’information géographique. On y détaille l’historique, les fonctionnalités, les évolutions en cours et à venir.
  • GraphServer, un serveur de graphes de réseau. GraphServer est un moteur de graphe, qui permet principalement de calculer des itinéraires et des isochrones sur des graphes topologiques de réseau. Agnostique sur le type de réseau, il est adapté tant pour du réseau routier, que pour de l’hydrologie ou même des relations humaines (réseaux sociaux). GraphServer permet d’intégrer facilement des données d’OpenStreetMap ou des données GTFS pour le transport.
  • Spatialite, emportez votre base de données. SpatiaLite est peut être le prochain standard de fichiers de données géographiques. Cette base de donnée embarquée légère possède de nombreuses fonctionnalités, import/export shapefile, requêtage SQL, calculs d’itinéraires, une interface graphique, tables virtuelles, rasters et bien plus.

PostgreSQL 9.0 bêta 1

Mercredi, 12 Mai 2010

La version 9.0 de PostgreSQL est disponible en bêta 1!

La version 9.0 est la première à inclure une réplication binaire interne en temps réel, permettant une extension horizontale du système. Cette possibilité repose sur deux nouvelles fonctionnalités, le « Hot Standby » et le « Streaming Replication » (qu’on peut traduire par « Reprise à chaud » et « Réplication en continu »).

La version beta qui vient de sortir va servir à corriger les bugs qui pourraient rester. Vous pouvez participer dès maintenant, en téléchargeant et en installant cette version. Vous pourrez alors remonter les bugs sur la mailing list et même envoyer des patchs !

Les versions stables de PostGIS ont été adaptées à PostgreSQL v9.0 et vous devriez pouvoir les utiliser avec cette version (encore quelques soucis à régler sur les binaires PostGIS windows, ça va venir EDIT : les binaires sont prêts !). En cas de problème avec PostGIS et PostgreSQL 9.0 envoyez votre cas sur les mailings list PostGIS.

Mapnik et le futur

Lundi, 19 April 2010

Le WhereCamp du 4 avril dernier sur le Campus de Google a vu un certain nombre d’experts du moteur de rendu cartographique Mapnik se réunir pour évoquer les pistes d’amélioration pour le futur de ce produit.

Les fonctionnalités évoquées sont :

  • Le regroupement de couches
  • Gestion plus intelligente des symboles de géométries
  • Un meilleur placement des étiquettes
  • Binding rubys
  • Support natif des CSS (Cascadenik) pour les styles, pas uniquement du XML
  • Cartographie thématique
  • Performances
  • Nouvelles sources de données (BdD NoSQL, mémoire, SQLite)

Dans les outils considérés comme intéressants voire nécessaires on trouve :

  • Un serveur WMS rapide
  • La création d’un format de package de cartes
  • Lithograph, une surcouche de Mapnik
  • La bibliothèque MapShift, permettant le concept de packages de cartes également
  • Quantumnik

Comme le souligne Benjamin Chartier, plusieurs de ces points sont très intéressants.

Étiquetage

L’amélioration des placements d’étiquettes est toujours une bonne nouvelle. La plupart des moteurs de rendu actuel méritent encore des améliorations sur ce point. Les avancées proposées sur Mapnik sont intéressantes, mais on peut certainement aller plus loin. Dans ce sens la bibliothèque PAL développée par la heig-vd et intégrée à Quantum GIS est un réel progrès, mais il faudra intégrer le code ou ses principes dans les logiciels de rendu.

Serveur WMS

La création d’un serveur WMS efficace autour de Mapnik permettra d’intégrer plus facilement cette brique dans les IDS actuelles. Cela élargira également la base d’utilisateurs de Mapnik, ce qui sera forcément profitable à son développement. Dans l’idéal ce serveur WMS participera au «WMS shootout», le concours de performance WMS du FOSS4G, en septembre 2010.

Feuilles de style

Les feuilles de style pour Mapnik, dérivées du projet cascadenik, sont une fonctionnalité intéressante pour la lisibilité et l’organisation des informations de style appliquées à des données pour effectuer le rendu. Selon l’auteur «imaginez un programme qui lit du HTML et du CSS et qui produit du HTML avec des balises FONT et le rend lisible sur netscape 2.0 et vous avez l’idée». On voit tout de suite l’intérêt !

SFM : Single File Map

Il s’agit de créer des packages contenant une carte autonome. Le principe est de pouvoir avoir un format portable contenant à la fois les données, le style, et  la logique de rendu. On se dirige vers une solution avec des styles Mapnik, des données sous SQLite / SpatiaLite, le tout zippé. Le but est de pouvoir utiliser ce format dans la plupart des SIG existants.

Bref…

Des idées en pagaille et des idées intéressantes donc, qui montrent bien le dynamisme du projet, poussé par les besoins de rendu d’OpenStreetMap. Mapserver, tiens toi bien !

Nouvelles SIG / logiciel libre

Lundi, 8 Mars 2010

Quelques nouvelles diverses de la planète SIG et logiciel libre.

Tout d’abord les prochains évènements à venir :

Du côté des nouvelles concernant les données libres, l’annonce de la ville de Rennes concernant la mise à disposition des données publiques devrait provoquer des émules en France.

Pendant ce temps les outils libres évoluent :

La JTS passe en version 1.11. De nouvelles fonctionnalités intéressantes ont été ajoutées à cette bibliothèque Java de géométrie, telles que les diagrammes de Voronoi et la triangulation de Delaunay. On peut espérer que ces fonctionnalités seront portées rapidement dans GEOS, et pourront alors être intégrées dans PostGIS. Ce n’est cependant pas pour le moment sur la roadmap et aucun financement n’est encore prévu, mais gageons que cela changera bientôt.

PostgreSQL 8.5 n’existera pas ! L’ajout des fonctionnalités de Hot Standby et de Streaming Replication est considéré comme un changement important, qui méritera un changement de version majeur. La prochaine version de PostgreSQL sera donc la 9.0. PostgreSQL 9 et PostGIS 2.0, 2010 sera une année majeure !

François-Xavier Prunayre rejoint NeoGeo

Mardi, 9 Février 2010

Comme le titre de ce post l’indique Guillaume Sueur (NeoGeo) et François-Xavier Prunayre travaillent désormais de concert.
François-Xavier est un des rares experts Français en métadonnées et cataloguage.
Il participe notamment activement au projet GeoNetwork.

Le blog officiel de l’annonce est en ligne sur le site de NeoGeo

Nous leur souhaitons une bonne route à tous les deux ! :)

GDAL/OGR 1.7

Lundi, 1 Février 2010

Frank Warmerdam vient d‘annoncer que la nouvelle version 1.7.0 de la bibliothèque de support de formats de données SIG GDAL/OGR était sortie, environ un an après la version 1.6.0.

Au menu, de nouvelles fonctionnalités, notamment au niveau des drivers. On notera en particulier l’apparition du driver WKT Raster, qui est le format de Raster utilisé pour le stockage de ceux ci dans PostGIS. L’intégration de ce format dans le coeur de GDAL préfigure l’intégration du projet WKT Raster dans le coeur de PostGIS.

On voit également l’apparition du support du type GEOGRAPHY de PostGIS 1.5. Juste à temps avant la sortie officielle de cette dernière !

Le support DXF, dont on a déjà parlé, est également maintenant intégré dans la release. Cela va faciliter les migrations de données des formats Autodesk vers PostGIS.

Le support de SpatiaLite est également amélioré, avec entre autre le support de RasterLite. Ce qui va permettre de mettre en place plus facilement cette base de données spatiale légère.

Quelques utilitaires de plus font leur apparition, comme gdaldem, dont on trouve un exemple d’utilisation sur le site de smathermather.

Annonce officielle de sortie

Le projet GDAL/OGR est heureux de vous annoncer la sortie de GDAL/OGR 1.7.0. C’est la première version majeure à sortir depuis la 1.6.0 il y a environ un an, même si il y a eu plusieurs versions de correction de bugs en 1.6.x entre temps. Cette version 1.7.0 ajoute de nouvelles fonctionnalités, dont des drivers raster et vecteur, ainsi que de nombreuses améliorations des drivers existants, et quelques extensions à l’API GDAL.

  • Nouveaux drivers raster : BAG, EPSILON, Northwood/VerticalMapper, R, Rasterlite, SAGA GIS Binary, SRP (USRP/ASRP), EarthWatch .TIL, WKT Raster
  • Driver GDAL PCIDSK utilisant par défaut le PCIDSK SDK
  • Nouveaux drivers vecteur : DXF, GeoRSS, GTM, PCIDSK and VFK
  • Nouveaux utilitaires : gdaldem, gdalbuildvrt sont maintenant compilés par défaut
  • Ajout du support pour python 3.X. Compatibilité préservée avec Python 2.X
  • Suppression des bindings Python d’ancienne génération.
  • Améliorations significatives des drivers raster suivants : GeoRaster, GeoTIFF, HFA, JPEG2000 JasPer, JPEG2000 Kakadu, NITF

L’article complet de support de version est disponible à :

http://trac.osgeo.org/gdal/wiki/Release/1.7.0-News

Le code source, la documentation et les tests de code peuvent être téléchargés à :

Source:
http://download.osgeo.org/gdal/gdal-1.7.0.tar.gz
http://download.osgeo.org/gdal/gdal170.zip

Documentation:
http://download.osgeo.org/gdal/gdal170doc.zip

Tests de code :
http://download.osgeo.org/gdal/gdalautotest-1.7.0.tar.gz
http://download.osgeo.org/gdal/gdalautotest-1.7.0.zip

[ Traduction de http://www.osgeo.org/node/1000 par Vincent Picavet]