4 mois de travail

400 terabits de stockage

160 serveurs physiques

2 milliards pages indexées chaque mois

Déroulé du projet

FABERNOVEL a pu à la fois définir l’architecture fonctionnelle de la plateforme et concevoir une architecture réactive.

Les équipes de FABERNOVEL ont livré le projet en mode agile, utilisant la _Proof of Concept _(POC) pour valider les choix et confirmer les performances attendues, le Minimum Viable Product (MVP) concernant les aspects technique et fonctionnel, et le Proof of Delivery (POD) pour le lancement du projet.

Différentes actions ont été menées pour atteindre le résultat final:

- la conception d’une base de données distribuée, avec processing décentralisé,

- la construction de crawlers intelligents,

- le recueil en temps réel des requêtes de recherche faites par le client,

- l’implémentation d’algorithmes émotionnels (emotional computing),

- l’autonomisation des équipes de Synthesio en les associant au développement de la solution

Résultats

La plateforme finale repose sur les technologies et les architectures déployées par les GAFAs.

Elle est capable de grandir (en terme de volumes traités) au même rythme que les médias sociaux qu’elle observe et le temps de génération des rapports clients s’approche du temps réel.

Cédric Chantepie - Technical Lead

« L’enjeu en la matière est de réussir à répondre aux contraintes de volumétrie de demain »

_Qu’est-ce que ce projet t’a apporté sur ton métier ? _

Le projet m’a permis de me plonger dans le monde du Big Data, les technologies et les challenges techniques pour le traitement de la donnée. Cela a aussi été l’occasion de découvrir et d’approfondir les connaissances sur des framework de calcul distribué, d'agent de messages et d'indexation et de recherche de données ainsi que l’analyse de texte. Nous avons migré la base de données vers vers une autre (600 serveurs ES). C’est un projet passionnant car c’est tout d’abord une évolution par rapport à une solution existante et le traitement à l’origine effectué en monoblocs découpés par nos soins, nous a permis d’obtenir des propriétés de scalabilité, de partitionnement et de distribution (données et traitement) souhaités. Nous avons ainsi pu adapter les évolutions aux différentes briques de la plateforme séparément en fonction du besoin futur. La collaboration avec les équipes du client m’a permis de comprendre rapidement les enjeux du projet et d’arriver sur une solution claire et adaptée aux besoins du client.

Quel est l’état de l’art en la matière ?

L’enjeu en la matière est de réussir à répondre aux contraintes de volumétrie de demain. Cela se traduit par le fait d’avoir une chaîne de traitement qui soit réalisée en temps réel et

un affinement scalable afin d’encaisser des pics de charge et d’être évolutif. La plateforme permet également de récupérer et d’analyser les résultats de l’analyse des données de manière souple et rapide. Cela a permis à notre client de créer des dashboards détaillés et personnalisés pour leurs propres clients. L’analyse des opinions est inclus dans le traitement

de la donnée. Le temps réel est aussi un point crucial pour la gestion de l’e-réputation. Nous avons réussi à architecturer la plateforme pour générer les rapports en temps quasi réel.

Quels sont les motifs de contentement ?

La première démo de la plateforme a été montée en 1 mois grâce à la collaboration entre les équipes de développeurs et DevOps, ce qui a permis de valider les premières hypothèses et les technologies retenues sur ce projet, tout en évitant l’effet tunnel. Les équipes du client ont également profité au passage de la connaissance sur les technos qu’ils n’ont pas eu l’occasion d’expérimenter auparavant. Aujourd’hui ils sont complètement autonomes sur les évolutions de la plateforme. Les performances de la plateforme répondent aux besoins de Synthesio et sont évolutifs rapidement pour le futur.