Créer un tableau de bord statistique territorial dans Qlikview

Cet article  présente mon travail de création d'un tableau de bord statistique dans  Qlikview/Qliksense.

Qu'est ce que Qlikview/Qliksense ?

• C'est pour moi une sorte de BO (business object) plus intuitif et plus "sexy". 
• Ca permet de taper dans toutes sortes de format de données pour en sortir des statistiques. 
• Qlikview permet d'étudier et de traiter de grandes quantités de données. 

Qu'est ce que Qliksense ?

• Qliksense en quelque sorte une nouvelle version du logiciel qlikview, plus orienté web et partage. Mais Qlikview est maintenu et une version 12 vient de sortir. 

 Pour quoi j'utilise Qlikview ?

• A la fois pour traiter des données de volume important et qu'il convient d'agréger comme DVF, stocké dans une base access. 
• Mais aussi pour représenter mes données statistiques contenues principalement dans des fichiers exel.
• Ou pour croiser mon Atlas LLS (data dans une base MySQL) avec la base RPLS, Répertoire du Parc Locatif Social.
• Et pour réaliser mes analyses PERVAL.

Quel est l'intérêt de Qlikview ?

• Au delà de son aspect attrayant dans son ergonomie, Qlikview associe automatiquement les données chargées quand il y a un champ commun. C'est le cas dans mes statistiques du champ "codgeo" qui correspond au code INSEE des communes.
• Qlikview permet facilement de taper dans des données organisées, notamment en ligne, et d'en tirer des analyses croisées par année.

A noter, notamment pour QlikSense un fichier d'aide déjà très fourni : https://help.qlik.com/sense/

Mon projet stat'

Je trouve important d'avoir sous la main la capacité à établir des tableaux de bord à jour avec les principales données socio-économiques du territoire :

• nombre d'habitants, 
• taux de croissance annuel moyen, 
• structure par âge, 
• taille moyenne des ménages, 
• revenus moyens, 
• taux d'emploi, 
• évolution du chomage, 
• composition du parc de logement et du parc de résidences principales, 
• nombres de permis de construire et moyennes annuelles sur les dernières années.

Toutes choses déjà décrites sur mon blog "observation locale" et dans le travail final sur les observatoires de l'habitat réalisé avec l'appui du réseau Habitat Logement d'Idéal Connaissances.

J'ai donc mis en forme un certain nombre de tableaux et graphiques, à l'échelle de mon territoire ou sur une commune sélectionnée à partir de mes données statistiques.
Sur les indicateurs, je suis à peu près au clair, avec toujours l'optique de rester simple. Ceci pour 2 raisons :

• Je n'ai jamais assez de temps pour approfondir mes analyses, mon travail principal n'est pas l'observation, j'y consacre au maximum 10% de mon temps.
• Et surtout parce qu'on s'aperçoit, quand on travaille avec les élus et les collègues, qu'il n'y a pas besoin de rentrer dans le détail compliqué des chiffres mais simplement d'avoir un regard sur les grandes évolutions du territoire : population, revenus, permis de construire; et sur certains chiffres-clés comme la taille moyenne des ménages, le taux de croissance de la population, ou le nombre moyen de permis sur les dernières années écoulées.

L'organisation des mes données

Comme je l'ai déjà évoqué plus haut, mes données ne sont pas toutes stockées au même endroit.
Les principales données statistiques sont organisées dans une série de fichiers exel dans lesquels sont rajoutés chaque année les nouvelles données annuelles. Il est prévu ensuite de les intégrer dans une véritable base de données.
Après l'avoir fait en interne, c'est maintenant un prestataire qui nous fournit ces données statistiques chaque année, organisées selon notre structure initiale. En effet, même si les données INSEE sont aujourd'hui gratuites et facilement accessibles, leur organisation et leur mise à jour n'est pas une mince affaire. C'est d'ailleurs pourquoi se développent de plus en plus d'offres incluant ce type de données.

Le volet carto

J'ai progressivement réalisé des tableaux dans les différents domaines mais il me manquait la partie carto. 

La cartographie n'est pas la seule manière de représenter des données statistiques; il faut la combiner avec des tableaux, des graphiques, des chiffres clés. Mais la carto est quand même essentielle pour comprendre les différents enjeux d'un territoire et les écarts qu'on y rencontre.
Je n'y suis pas arrivée dans Qlikview parce que notamment j'avait un problème de compatibilité avec le mode "webvue". J'ai donc essayé dans Qliksense.
Après pas mal d'essais et une aide importante de Florent sur le forum community.qlik j'y suis arrivée. Et j'en suis pas peu fière ! Je suis même arrivée à combiner une carte avec des contours communaux et une symbologie en aplats et une carte avec des points proportionnels. J'ai publié sur le fil de discussion correspondant le résultat de mes travaux : https://community.qlikview.com/thread/193842

Ce que ça donne

Même si mes analyses vont pas très loin, leur représentation à partir d'un fichier statistique important comme le mien (beaucoup de données initialisées en 2000) et sur plusieurs territoires, n'est pas tout simple.

Quelques choix méthodo et difficultés dans les expressions et le script

• J'ai essayé autant que possible de créer des analyses dynamiques, comme le permet si bien Qlikview. L'idée étant que mes tableaux se mettront à jour automatiquement si une nouvelle année est rajoutée dans mes données.
• La livraison désormais annuelle des données du recensement impose cependant de "figer" certaines analyses. Ainsi, je suis pour l'instant essentiellement sur les derniers intervalles de temps : 1999, 2006, 2011 en prolongement des chiffres des recensements plus anciens : 1990, 1982, ...
• Toutes ces tables ont un champ année que je charge tel que dans le script mais que je renomme aussi avec un alias (champ annee as annee_nomdelatable) ce qui me permet d’appeler la dernière année qui concerne ces données quand je veux faire ressortir les derniers chiffres clés (Sinon ça me donnait la dernière année de toutes mes tables).
• Je voudrais créer un tableau de bord utilisable à l'échelle de n'importe quelle interco mais pour l'instant j'ai ciblé sur mon territoire parce que ma table de regroupement intercommunal n'est pas à jour.

Tout ce qu'il me reste encore à faire

Pour aboutir sur une première "mouture" j'ai du faire des choix et des raccourcis. Donc il me reste des évolutions à prévoir et quelques espoirs dans l'évolution du produit :

• Du point de vue technique il y a des choses que je n'arrive pas à faire : 
• utiliser les favoris dans Qliksense comme je les utilisais dans Qlikview pour comparer mes différentes sélections,
• arriver à faire des tris dans les dimensions (par exemple sur l'année à représenter), plutôt que d'inscrire ça dans les "set analysis" ou "analyses d'ensemble",
• et arriver à faire fonctionner le module carto dans qlikview.
• Organiser mes analyses pour qu'elles puissent être élargies à tout EPCI à partir de la table territoires qui suit l'évolution des périmétres intercommunaux.
• Imaginer de pouvoir taper directement sur des données statistiques d'un serveur INSEE ou autre, peut-être avec le format statistique "TJS" ou bien avec le format RDS dont l'INSEE expérimente la diffusion.
• Et espérer une amélioration des conditions d'export dans les 2 outils : 
• Les "rapports" sont pas super même si c'est à priori la meilleur formule d'export, ils ne sont pas très jolis dans Qlikview, et dans Qliksense l'export modifie la présentation comme si la police de caractére était trop grande? 
• Les copier/coller dans power-point ne fonctionnent plus dans la dernière version de Qlikview (12), 
• Les exports PDF fonctionnent bien dans Qlikview mais ne peuvent se faire que feuille par feuille, Bien sur il s'agit là des possibilités offertes par la version desktop gratuite, plus limitées que dans les version complètes et payantes.
• Dans Qliksense il semble qu'il n'y ait aucune possibilité de modifier la police par défaut.

Encore du pain sur la planche en somme ! Et je compte progresser par les échanges sur la communauté d'utilisateurs car, comme sur le GeoRezo, c'est avec ce genre d'échanges que je fais mon auto-formation.