Migration de données : convertir des fichiers Excel en bases de données

17 Juillet 2018

Logo ResourceSpace Logo Wordpress Logo Prestashop Logo Joomla

MODX est plus qu'un CMS : il permet de développer de véritables outils métier et de révolutionner votre manière de travailler, positivement !

De nombreuses PME disposent de bases de données sous la forme de fichiers Excel : fiches produit, fichiers d'abonnés, fichiers clients... Si ce (non) choix permet de stocker, de mettre à jour et de rechercher des données, beaucoup d'entreprises n'ont jamais franchi le pas de la migration de données, faute d'en mesurer les avantages.

Pourquoi migrer ses données vers un CMS ?

Passer d'une gestion hors-ligne à une gestion en ligne à accès contrôlé des données a de multiples avantages :

  • Centralisation des fichiers : des bases de données uniques toujours à jour
  • Sécurisation : possibilité d'automatiser les sauvegardes sur des machines indépendantes
  • Souplesse de travail : consulter et mettre à joour des données à distance devient possible
  • Ajout d'une dimension applicative, possibilité de développer des outils de productivité sur mesure : alertes, exportations, filtres, notification automatiques, modes d'affichages, gestion de groupes d'utilisateurs avec des permissions différentes...

Bien entendu "mrigrer ses données vers une application web" ne signifie pas pour autant qu'elles seront visible de tous : leur accès se fera de manière sécurisée (nom d'utilisateur, mot de passe, filtrage IP, groupes d'utilisateurs... ) et les contours de ce partage est entièrement configurable (extranet, intranet).

L'optimisation n'est pas réservée aux grands comptes

Penser qu'une migration de données est un luxe réservé aux grandes entreprises serait une erreur.

Même si l'opération peut s'avérer parfois complexe, être scindée en différentes phases, nécessiter plusieurs opérations de mise en forme et de nombreux tests avant l'export/import final, elle est toujours possible.

Quelle méthodologie ?

D'un point de vue méthodologique, voici les principales étapes qui permettront de mener à bien une telle migration / transformation :

  • Evaluation des besoins, habitudes de travail, pistes d'améliorations, formalisation des objectifs à atteindre (brief, cahier des charges...) ;
  • Estimation de faisabilité, propositions, recherche de solutions ;
  • Création du modus opérandi : mise en place de toutes les étapes du protocole ;
  • Tests d'exportation et d'importation des donnés avec vérification de leur intégrité, avec n retour sur le modus operandi, autant de fois que nécessaire ;
  • Import/export final ;
  • Développement et mise en place de l'interface utilisateur et des éventuels outils intégrés au CMS ;
  • Phase de test et de débogage ;
  • Formation, rédaction des mémos d'utilisation, tests "utilisateur" en mode production.

Cette exemple de méthodologie pourra être adapté en fonction des environnements de travail.

Exemple : mise en place d'un outil de gestion d'abonnés

Il m'a été donné d'avoir à réaliser la migration de plusieurs bases de données Excel constituant le fichier d'abonnés d'un magazine, scindé en deux à l'origine selon les moyens de paiements.

Grâce à MODX il est relativement aisé de mettre en place les utilitaires qui permettent d'importer des données, après leur mise en forme.

Avant

Le fichier d'origine

Extrait de l'un des fichiers Excel.

Après

La liste des abonnées et les filtres.

Interface de gestion des abonnés

Les champs du fichier Excel et leurs données dans la nouvelle interface. Pour faciliter la prospection et les relances, des indicateurs visuels et des filtres ont été mis en place. Ici une pastille verte indique les abonnés à deux magazines avec le rappel des numéros de début et de fin d'abonnement.

Les fiches abonnés peuvent être éditées et des email peuvent être envoyés en cliquant sur des boutons.

Exemple d'outil métier : routage

Génération de fichiers routage

Afin d'automatiser la création de fichiers routage pour les différents états d'abonnements (dernier numéro, à un numéro avant l'échéance, à un numéro après l'échéance...), un outil générant des fichiers au format CSV a été mis en place. Correctement formatés, les fichiers téléchargeables sont prêts à être envoyé à la société de mise sous-pli et de routage.

Des questions, un projet ?

Que vous ayez ou non un projet de refonte de votre présence sur internet, n'hésitez m'exposer votre problématique !