MapServer 5.6.5 et 4.10.6

Lundi, 19 Juillet 2010

De nouvelles versions de MapServer ont récemment vu le jour : la 5.6.4 suivie de la 5.6.5 et la 4.10.6. Les sources des versions précédentes ont également été patchées.

Ces nouvelles versions n’apportent aucune nouvelle fonctionnalités, mais n’en sont pas moins importantes car elles corrigent des failles de sécurité. En effet comme le souligne Daniel Morissette, l’augmentation du nombre de déploiements de MapServer a fait que de plus en plus d’organismes effectuent des audit du code source. Cela est rendu possible par la nature OpenSource de MapServer, et le dépôt subversion public. Et de fait cela conduit à une amélioration de la qualité du produit, car ici ces audits ont permis d’identifier des failles potentielles dans l’interface CGI de MapServer.

Sans rentrer dans les détails, ces failles étaient causées par la possibilité de passer des arguments de ligne de commande au programme CGI de MapServer. Les arguments qui pouvaient être donnés pour du Debug de développement étaient susceptibles de poser des problèmes de sécurité. Ils ont donc été désactivés, à part quelques options sans risque comme -v. Une faille de type «buffer overflow» a aussi été découverte et corrigée.

Ces corrections n’affectent pas les fonctionnalités et ne devraient avoir aucun impact négatif pour les utilisateurs de MapServer. Seuls les développeurs pourraient être impactés.

D’autres informations plus génériques ont aussi été tirées de cet audit, qui devraient profiter à la sécurité et la robustesse générale du futur MapServer 6.0.

La version 5.6.5 corrige elle un bug sur le calcul d’échelle qui provoquait un mauvais fonctionnement de MINSCALE/MAXSCALE.

Vous pouvez télécharger les nouvelles versions et les installer :

http://mapserver.org/download.html#binaries

A noter que les paquets Debian et Ubuntu devraient désormais être à jour (vérifiez tout de même que vous avez bien mis la liste des paquets à jour et que les numéros de version correspondent).

La liste complète des changement est accessible à l’adresse suivante :

http://lists.osgeo.org/pipermail/mapserver-users/2010-July/066052.html

et

http://lists.osgeo.org/pipermail/mapserver-users/2010-July/066134.html

EDIT : ajout de la sortie de la 5.6.5. Merci à Daniel Morissette pour le commentaire judicieux.

TinyOWS 0.9.0 présenté lors de l’OsGIS UK 2010

Mercredi, 23 Juin 2010

Une nouvelle version de TinyOWS vient de sortir, cette nouvelle release, la 0.9.0 apporte une avancée majeure dans l’architecture de l’application.

En effet désormais TinyOWS peut fonctionner en mode FastCGI, et ainsi conserver des objets en mémoire d’une requête sur l’autre (typiquement la connection à PostGIS, ou la structure du fichier de configuration…)

Les performances sont donc on s’en doute drastiquement améliorées, avec des gains pouvant être de l’ordre de facteur 2 par rapport à l’utilisation via la classique CGI.

OsGIS UK
A l’occasion de la sortie de TinyOWS 0.9.0, une conférence sur les performances des serveurs WFS OpenSource a été animée par Olivier lors de l’OsGIS UK à Nottingham.

La présentation est d’ores et déja disponible en ligne, la vidéo devrait suivre UPDATE: les vidéos aussi

On retrouvera dans cette présentation des considérations de portée générale sur les moyens d’améliorer les performances de serveurs WFS, notamment en minimisant la taille des données échangées entre client et serveur.

TinyOWS est à l’issu de ce bench réalisé avec MapServer et GeoServer, l’application la plus rapide en WFS, avec des écarts, suivant les uses cases, particulièrement significatifs.

Les benchs réalisés ont permit également de mettre en évidence des points d’amélioration pour les futures versions, et notamment le coût encore très élévé de la validation XSD sur les opérations d’insert et d’update en WFS-T.

Pour illuster ces propos un graphe de inclusions de fichiers XSD de WFS 1.1

WFS XSD Schema inclusion graph

Une des réactions d’Arnulf Christl, président de l’OsGEO, et assidu des TC OGC, à l’issue de cette présentation était justement de demander avec à propos si les futurs schemas OGC ne devraient pas faire en sorte de se limiter en terme de complexité…

Bases de données spatiales et standards internationaux

Lundi, 21 Juin 2010

Benjamin Chartier dans son blog, a recemment posté un article concernant les bases de données spatiales et leur conformité aux standards existants.

Il s’appuyait notamment en celà sur l’étude de Nicolas Ribot réalisé pour le compte du CNES en 2007 (à noter que Nicolas a actualisé son étude dernièrement et en a présenté les principaux éléments lors des dernières rencontres SIG La Lettre).

Quelques éléments complémentaires sur ce sujet, car la question du respect des standards pour les bases de données spatiales, est pour l’instant un tantinet plus complexe qu’une ’simple’ implémentation de spécification.

Quelques éléments de contexte

Première difficulté en effet, on retrouve deux organismes de standardisation, à savoir l’ISO et l’OGC, avec plusieurs spécifications distinctes:

  • OGC Simple Feature for SQL (OGC SFS)
  • Son homologue ISO 19125 (qui est la déclinaison ISO de SFS)
  • ISO 13249-3 (plus connu sous le nom de ISO SQL/MM spatial)

Il faut bien comprendre au niveau ISO que 13249-3 (SQL/MM donc) ne dépend pas du TC 211, comme les autres spécifications géographiques, mais d’un groupe de travail lié davantage au SQL (le JTC1 SC32 WG4).

Dis autrement, il y a donc une forte proximité entre OGC SFS et ISO 19125, mais une distance importante entre ISO SQL/MM.

Et pour rajouter encore un peu d’entropie à l’ensemble il faut évidemment compter avec les différentes versions:

  • OGC SFS 1.1, la plus couramment implémentée, (mais qui date de 1999)
  • OGC SFS 1.2, la version ‘officielle’ du moment (publiée fin 2006)
  • La dernière version de SQL/MM-3 datant aussi de 2006.

le SWG ISO 19125

Au niveau OGC un nouveau groupe de travail vient de voir le jour sous l’impulsion de John Herring (Oracle), pour harmoniser le paysage des spécifications entre OGC SFS, ISO 19125 et ISO SQL/MM et les enrichir le cas échéant (fonctions 3D, référencement linéaire…) .

Ce groupe de travail répondant au doux nom de SWG ISO 19125, est ouvert à tous les membres OGC.
Oslandia via Olivier Courtin fait partie de ce groupe, et représente en ce sens PostGIS à l’OGC.

Si vous êtes membre OGC (ou envisagez de le devenir) et que ces problématiques vous concerne, ne pas hésiter à venir participer à cette initiative.

Et PostGIS dans tout celà ?

Si l’on fait un comparatif rapide des différentes spécifications et de l’implémentation dans PostGIS l’on se rend compte des points suivants:

Intitulé ISO SQL/MM-3 OGC SFS PostGIS
Support des Curvilignes Oui Non Partiel: les primitives géographiques sont supportées, mais de nombreuses fonctions ne les supportents pas ou les ‘réduisent’ à des géometries simples sans la composante curviligne.
Support des PolyhedralSurface (volumes 3D) Brievement évoqué Oui à partir de la 1.2 En cours, prévu pour la 2.0, communication au FOSS4G 2010 prévue
Support des dimensions Z et M Oui Depuis la 1.2, mais avec une expression différente au niveau du WKT de celle de ISO SQL/MM Oui depuis PostGIS 1.0 mais dans une syntaxe propriétaire (EWKT/EWKB), à partir de PostGIS 2.0 pour une conformité ISO SQL/MM du WKT (déja commité dans le trunk)
Surcouche Topologique Oui permet de placer par dessus des données ‘Spaghetti’, un modèle relationnel topologique (adjacence, arcs, edges…) Non Des vélléités d’une première implémentation en 2006, mais pas finalisée depuis faute de financements
Routing (très) basique Oui un dijkstra est présent Non Non
Fonction référencement linéaire Oui Non, mais prévu pour la future version de ISO 19125, (cf rubrique suivante) Des fonctions existent mais sans conforme au standard ISO SQL/MM, ce point est identifié comme étant un besoin de financement
Fonctions topologie incluant la 3D (9-DIM) Non Non, mais prévu pour la future version de ISO 19125, (cf rubrique suivante) Non, mais en recherche de financement pour mettre en oeuvre les fonctionnalités ISO 19125 en avance de phase
Mécanisme d’annotations textuelles sur des géométries Non Depuis la version 1.2 Non
Tables additionnelles pour gérer les données geometry_columns et spatial_ref_sys Conforme à OGC SFS (mais pas à SQL/MM). Rajoute depuis la 1.5 une vue geography_columns pour les données géocentriques.
Systéme de projection inconnu Se code avec un SRID = 0 Non couvert par la specification Utilise SRID = -1. Doit passer à SRID = 0 dans le cadre de PostGIS 2.0

PostGIS supporte OGC SFS 1.1 depuis sa version PostGIS 1.0 et a obtenu le statut compliant pour sa branche 1.1.

Depuis la version de PostGIS 1.3, les efforts se portent désormais clairement vers le support de ISO SQL/MM.
C’est cette préoccupation qui a conduit à prefixer les noms des fonctions du préfixes ST_ (pour Spatial Type).

Le support complet de ISO SQL/MM doit être vu comme un objectif à long terme, au vu de la richesse fonctionnelle de SQL/MM, (pour donner un ordre d’idée OGC SFS tient en 100 pages, il en faut 600 pour SQL/MM !)

Les nouveautés de PostgreSQL 9.0

Vendredi, 18 Juin 2010

La prochaine mouture de PostgreSQL, la 9.0 devrait sortir d’ici à la fin de l’été.

D’ici là, si vous ne vous êtes pas encore penchés sur la foultitude de nouvelles fonctionnalités, et bien c’est le moment d’aller lire l’excellent blog de Marc Cousin (Dalibo) sur Postgresql.fr qui décrit par le menu les nouveautés et différences de cette prochaine version de votre SGBD favori.

Les conférences du FOSS4G 2010 annoncées

Mercredi, 2 Juin 2010

La liste des conférences du FOSS4G 2010 a été annoncée. Rappelons que le FOSS4G est la conférence internationale des logiciels libres en géomatique (Free OpenSource Software For Geoinformatics). À Barcelone du 6 au 9 septembre 2010, elle rassemble la communauté OSGeo au sens large, utilisateurs, développeurs ou simples curieux.

Vous retrouverez donc en ligne la liste des titres, en attendant d’avoir le détail du menu plus tard.

Un programme de grande qualité encore cette année, tant dans la sélection des intervenants que dans les thèmes abordés. On attend avec impatience d’avoir les descriptions des présentations.

La liste des posters est également en ligne.

Oslandia fera pas moins de trois interventions :

  1. PostGIS meets the third dimension : une présentation de l’introduction de la 3D dans PostGIS par Olivier Courtin.
  2. Running long and complex processes with PostGIS : Comment réaliser de façon efficace des processus longs et complexes en SIG avec PostGIS, par Vincent Picavet.
  3. State of the art of FOSS4G for topology and network analysis : un état de l’art des outils permettant de gérer la topologie et de faire de l’analyse de réseau dans les logiciels libres en géomatique, par Vincent Picavet.

Open Source GIS UK Conference 2010

Lundi, 17 Mai 2010

OSGIS UK 2010 aura lieu à Nottingham les 21 et 22 Juin. Cette conférence mondiale sert de lien entre l’OGC et l’OSGeo.
Et se propose de réaliser un état des lieux, et de l’art des problèmatiques et avancées en matière d’interopérabilité OGC basés sur des solutions Open Source.

La liste des conférences retenues pour le 22 vient d’être publiée, et elle est alléchante.
La veille (le 21 donc) est consacrée à des quatre Workshop thématiques.

Oslandia présentera une session sur TinyOWS, le serveur WFS-T haute performance.
En mettant l’accent à la fois sur les questions de respect des standards OGC, et corrolaire le modèle de développement basés sur des tests unitaires (ceux de l’OGC CITE en l’occurence).
Et également, sur les questions de performance, en faisant un comparatif avec d’autres solutions WFS OpenSource disponibles, et les meilleures pratiques en terme d’optimisation.

Les inscriptions en early birds sont encore accessibles jusqu’au 21 mai, ne tardez donc pas !

Open Source GIS UK Conference 2010.

Si vous projetez de vous y rendre, n’hésitez pas à vous signaler par un mail,
au plaisir de vous y voir !

Conférences Oslandia SIG-LL 2010

Jeudi, 13 Mai 2010

Oslandia a participé aux rencontres SIG-La Lettre 2010. Le blog GeoTribu présente un résumé intéressant d’une partie des conférences. Un village OpenSource était aussi organisé, au sein duquel divers intervenants ont enchainé des présentations.

Vincent Picavet a présenté PostGIS, Spatialite et GraphServer dans trois créneaux. Vous pouvez retrouver les supports de présentation ci dessous.

  • PostGIS, un module spatial pour PostgreSQL, est une présentation générale de PostGIS, le plugin de PostgreSQL pour l’information géographique. On y détaille l’historique, les fonctionnalités, les évolutions en cours et à venir.
  • GraphServer, un serveur de graphes de réseau. GraphServer est un moteur de graphe, qui permet principalement de calculer des itinéraires et des isochrones sur des graphes topologiques de réseau. Agnostique sur le type de réseau, il est adapté tant pour du réseau routier, que pour de l’hydrologie ou même des relations humaines (réseaux sociaux). GraphServer permet d’intégrer facilement des données d’OpenStreetMap ou des données GTFS pour le transport.
  • Spatialite, emportez votre base de données. SpatiaLite est peut être le prochain standard de fichiers de données géographiques. Cette base de donnée embarquée légère possède de nombreuses fonctionnalités, import/export shapefile, requêtage SQL, calculs d’itinéraires, une interface graphique, tables virtuelles, rasters et bien plus.

PostgreSQL 9.0 bêta 1

Mercredi, 12 Mai 2010

La version 9.0 de PostgreSQL est disponible en bêta 1!

La version 9.0 est la première à inclure une réplication binaire interne en temps réel, permettant une extension horizontale du système. Cette possibilité repose sur deux nouvelles fonctionnalités, le « Hot Standby » et le « Streaming Replication » (qu’on peut traduire par « Reprise à chaud » et « Réplication en continu »).

La version beta qui vient de sortir va servir à corriger les bugs qui pourraient rester. Vous pouvez participer dès maintenant, en téléchargeant et en installant cette version. Vous pourrez alors remonter les bugs sur la mailing list et même envoyer des patchs !

Les versions stables de PostGIS ont été adaptées à PostgreSQL v9.0 et vous devriez pouvoir les utiliser avec cette version (encore quelques soucis à régler sur les binaires PostGIS windows, ça va venir EDIT : les binaires sont prêts !). En cas de problème avec PostGIS et PostgreSQL 9.0 envoyez votre cas sur les mailings list PostGIS.

TinyOWS en release 0.8.0

Dimanche, 2 Mai 2010

La nouvelle version de TinyOWS, le serveur WFS-T haute performance vient de sortir.

Pour rappel TinyOWS, est une application, se plaçant en frontal de PostGIS et permettant de faire office de serveur WFS-T sur des données présentes dans la base de données spatiale.

Cette release de TinyOWS apporte des avancées substantielles à la fois en terme de nouvelles fonctionnalités, d’optimisation et de debug par rapport à la précédente version.

Attention cette nouvelle version de TinyOWS nécessite PostGIS 1.5.

 

ChangeLog commenté:

  • Support des schema PostgreSQL: permet de disposer ses données dans plusieurs schema PostgreSQL et non plus uniquement dans celui par défaut (i.e public).
  • Support du format JSON en sortie de GetFeature.
    Il suffit de mentionner OUTPUTFORMAT=application/json dans la requête pour l’activer.
    Intéressant notamment pour un usage couplé avec OpenLayers, un tutoriel spécifique sur ce thème est d’ailleurs disponible.
  • Support du nouveau type Geography de PostGIS 1.5.
    Vous pouvez donc indifférement utiliser des geometry ou des geography, c’est transparent pour TinyOWS.
  • Mécanisme de log des requêtes passées en entrée.
  • Option supplémentaire en ligne de commande –check, pour vérifier que l’ensemble de la configuration est bien correcte.
    Intérressant à utiliser en conjonction avec –help dans une optique de debug de l’installation et/ou du fichier de configuration.
  • Mise à jour de la documentation, et rédaction d’un HowTo détaillant pas à pas, la mise en place d’une solution d’édition de features via WFS-T, avec TinyOWS et OpenLayers.
  • Légère amélioration des performances sur l’opération de GetFeature (de l’ordre environ de 10%)
  • Et de nombreuses opérations de bugfixes.

 

Actuellement vous pouvez librement installer cettee nouvelle version à partir des sources, sachant qu’il devrait aussi sortir prochainement une version de cette release pour MS4W ainsi que des paquets Debian.

Enjoy,

[AAV] FOSS4G – Appel A Vote !

Vendredi, 30 April 2010

Le FOSS4G, réunion annuelle des acteurs SIG OpenSource, aura lieu cette année à Barcelone, en Septembre.
Plus de 350 conférences ont été proposées, et il ne devrait en subsister que le tiers à l’arrivée.

Et pour départager le bon grain de l’ivraie, il vous appartient de venir voter pour les conférences de votre choix:
http://2010.foss4g.org/review/

L’exercice en plus de contribuer à batir le FOSS de vos rêves (si si), est un très bon moyen de venir prendre le pouls sur la diversité des initiatives en SIG Open Source.

Enjoy !

FOSS4G - Logo