Archives de
Catégorie : Cas d’utilisation

How-to : Grafana 6 sur AWS avec Docker

How-to : Grafana 6 sur AWS avec Docker

Le maintien d’une infrastructure et l’optimisation des ressources sont des tâches qui nécessitent une vigilance quotidienne et des plateformes comme Grafana, Kibana ou Chronograf sont une pierre angulaire dans la surveillance des systèmes d’information.

Cette supervision est très importante dans un contexte DevOps : une meilleure vision des ressources facilite les prises de décisions, facilite le suivi de performance et permet de réfléchir plus durablement sur l’intérêt d’automatiser les tâches. La bonne mise en place et configuration de ces outils de supervision facilite une notion importante du DevOps : le dialogue entre le Dev et les Ops renforcé par des métriques fiables et partagées.

Nous allons nous pencher sur Grafana et plus spécifiquement la version 6 (une des dernières versions disponibles au moment où nous écrivons cet article). Dans un premier temps, nous aborderons l’intérêt de se baser sur AWS pour établir son outil de monitoring puis nous suivrons pas à pas la mise en place de l’infrastructure proposée.

Grafana est une plateforme open source de visualisation de métriques et de surveillance permettant de réaliser des tableaux de bord et des graphiques. La visualisation des métriques est remontée dès que les données sont disponibles et la plateforme supporte des data sources comme Cloudwatch, Influxdb, Elastichsearch ou Prometheus… Un des avantages de Grafana est aussi sa comptabilité avec plusieurs types d’authentification et ne nécessite donc pas d’utilisateurs IAM à gérer.

Voici quelques avantages à déployer Grafana sur AWS :

• Scalabilité de la base de données
Par défaut Grafana utilise SQLite3 en local mais supporte également MySQL et PostgreSQL. En utilisant Aurora MySql serverless, plus de problème d’évolutivité et le coût est indexé sur l’activité (pay as you go).

• Services managés
Avec des services comme Amazon Aurora ou l’utilisation de Docker avec Amazon ECS et AWS Fargate, plus besoin de gérer la maintenance de base de données ou de cluster ce qui se traduit par un gain de temps considérable.

Notre architecture de test

L’architecture est la suivante : un Application Load Balancer redistribue la charge sur le cluster ECS Fargate qui interroge la base de données Aurora MySQL Serverless.
D’autres services sont appelés afin de superviser (CloudWatch) ou de sécuriser (IAM, Certificate Manager et Route 53).

grafana-architecture

Place à la pratique

Pour ce tutoriel, on part du principe que le compte AWS est opérationnel et que la couche réseau (VPC, Subnets …) a été créée au préalable.

Création de la base de données Aurora MySQL

grafana-auroramysql

Création du cluster ECS

grafana-cluster-ecs

+ Configuration du cluster : création de Task definition Grafana (utilisation du Docker hub pour récupérer l’image Docker)

grafana-taskdefinitionDocker

+ Configuration du cluster : inclure les variables d’environnement qui commence par GRAFANA_DATABASE_*

grafana-databaseconfig

Task Definition ECS Fargate

grafana-fargate

+ Configuration de ECS Fargate : création du Service ECS

grafana-fargate-serviceecs

+ Configuration de ECS Fargate : Configuration du réseau

grafana-reseau

Permettre l’accessibilité de Cloud Watch <> Grafana avec les policies IAM

Ajouter l’IAM Policy (JSON) disponible sur le site de Grafana.

Configuration des data sources pour Grafana

grafana-datasources

Cas d’usage : monitoring le coût de run efficacement
IAM Policy pour avoir l’accès à la facturation :

Un exemple d’un tableau de bord concernant la facturation de services AWS.

grafana-dashboard-billing

Conclusion

Comme vu précédemment, la mise en place d’une plateforme de supervision est une pierre angulaire dans un environnement. Une supervision centralisée, résiliente et capable de croitre selon les besoins peut ne pas être un besoin critique au départ mais s’avère rapidement indispensable. Grâce à AWS, la notion d’agilité est possible grâce au scalling in / out et au paiement à la ressource consommée.

Vous êtes intéressés par le sujet du DevOps ? Notre prochain article à paraitre courant juin, reprends quelques bases sur ce sujet complexe !

Corexpert déploie SAP GUI avec Amazon AppStream

Corexpert déploie SAP GUI avec Amazon AppStream

En seulement deux jours Corexpert déploie le client SAP Gui pour l’ensemble de ses collaborateurs.

Après avoir rejoint le groupe TeamWork en septembre 2017, Corexpert a réintégré sa comptabilité en quelques semaines dans SAP. A partir de janvier 2018, l’intégralité de la gestion de Corexpert est opérationnelle dans SAP : Commandes, Facturation, saisie des temps à facturer, suivi des absences, notes de frais, workflow…

Afin de permettre à nos collègues d’utiliser le client de connexion SAP (SAP GUI, prononcez « gooey » ou G-U-I pour Graphic User Interface) il leur fallait donc un client à installer sur leur poste local ainsi qu’un compte VPN individuel afin d’accéder aux infrastructures SAP du groupe. Le client Mac n’étant pas natif, une version JAVA est disponible…

Corexpert est « born in cloud » et dans la mesure du possible nous utilisons des ressources dans Amazon Web Services pour nos applicatifs, ou des applications SaaS. Nous ne sommes pas vraiment coutumiers du déploiement sur postes utilisateurs et ne voyant pas comment faire cela avec Jenkins 🙂 nous avons décidé de mettre en oeuvre Amazon AppStream afin d’accélérer ce déploiement et s’assurer que celui-ci soit réalisé sans impact pour nos utilisateurs (disponibilité du PC/MAC etc…).

Amazon AppStream est actuellement dans sa seconde version, basé sur la technologie NICE DCV, celle-ci sécurise les pixels et les entrées d’utilisateur final à l’aide d’un chiffrement AES-256 de bout en bout. Le service ne nécessite pas de client à installer, mais un simple navigateur HTML5, authentification par email et mot de passe ou ADFS par exemple. Les applications préalablement installées sur une image Windows Server 2012, sont « streamées » vers le navigateur de l’utilisateur final.

L’architecture déployée est celle décrite ci-dessous, les utilisateurs Corexpert accèdent au portail AppStream 2 de n’importe où en SSL et la « fleet » de serveurs AppStream se trouve dans un VPC interconnecté avec le VPN & Firewall de TeamWork, Data-Centre où est hébergé l’infrastructure SAP groupe.

sapgui-corexpert

Le déploiement Amazon AppStream est réalisé sur « fleet on-Demand » c’est à dire que le nombre de serveur est déclenché au fur et à mesure de la connexion et demande des utilisateurs. Vous trouverez dans la petite vidéo ci-dessous un « cold-start » avec une attente constaté d’une minute.

A retenir

Un déploiement unifié et sécurisé, l’accès aux données est chiffré de bout en bout.

Une gestion centralisé du porte-feuille des application, la mise à jour du SAP GUI est appliquée et disponible pour tous les collaborateurs simultanément.

Amazon Appstream est programmatique et pilotable en ligne de commande, on planifie par exemple plus de serveurs dans la flotte Amazon Appstream lors de la saisie des temps en fin de semaine et fin de mois !

Un coût minimal de l’infrastructure, paiement à l’heure d’utilisation.

TeamWork accompagne Red Luxury dans sa migration SAP vers AWS

TeamWork accompagne Red Luxury dans sa migration SAP vers AWS

Red Luxury a témoigné à Genève lors de l’évènement SAP on AWS le 6 mars 2018. Retour sur ce succès d’une migration SAP vers AWS en un temps record.

Contexte & Enjeux

RED Luxury a décidé de racheter une activité de distribution de bijoux au tribunal de commerce courant 2017.

Elle hérite alors d’un Système d’informations existant qui porte trois activités dont celle rachetée. Elle doit pouvoir redémarrer les activités le plus rapidement possible en s’appuyant sur une simple copie du  systèmeSAP ECC6 existant. Il s’agit alors de mettre en service la solution et l’adapter à ses nouveaux besoins.

Ne disposant pas de DSI ni de compétences SAP en interne, RED Luxury confie alors le projet à TeamWork et Xplore Consulting (Fonctionnel et développement) cette mise en service.

montre-red-luxury

Approche et facteurs clefs de succès

Le principal objectif était le redémarrage rapide du landscape SAP – de son infrastructure – pour pouvoir ensuite procéder aux adaptations nécessaires au nouveau contexte.

Les équipes de TeamWork ont :

  • Fourni Les licences SAP nécessaires
  • Créer un socle technique (Landing Zone) au sein d’une VPC du Cloud AWS en quelques jours
  • Migrer l’environnement ECC avant de donner rapidement la main aux intervenants fonctionnels
  • RED Luxury a ensuite confié l’ infogérance complète du socle SAP on AWS à TeamWork et son Global Delivery Center reposant sur les trois plaques, Europe, US et Asie.

 

Bénéfices

  • Respect des délais: redémarrage de l’activité sur le nouveau système en moins d’1 mois
  • Flexibilité du Cloud AWS et du service EC2 adapté à la très forte croissance du client
  • Services managés qui sécurisent la production du client
  • Backup sur le service Amazon S3 et Glacier pour l’archivage

 

RED Luxury est la première société spécialisée dans la conception et la distribution de montres et de bijoux pour le compte de maisons de mode. Red Luxury, c’est:

  • 30 pays
  • 1 500 points de vente en France

210 000 montres vendues en 2016

Partenariat : ORINOX choisit COREXPERT et Amazon Web Services pour propulser OCWS

Partenariat : ORINOX choisit COREXPERT et Amazon Web Services pour propulser OCWS

Dans le cadre du développement de sa plateforme cloud de services dédiée à la digitalisation de site industriel nommée OCWS (Orinox Cloud Web Services), ORINOX s’appuie sur COREXPERT, afin de s’assurer que sa solution répondra aux exigences les plus élevées en termes de sécurité, contrôle et scalabilité.

logo-orinox-xs

AWS Consulting Partner, COREXPERT est un partenaire privilégié du Cloud Public Amazon Web Services. Au travers de ses deux business units Cloud Native Apps et Cloud Infrastructure, ses architectes et développeurs certifiés AWS apportent leur expertise à tous types de projets IT s’appuyant sur le cloud AWS.

COREXPERT profite d’une expertise de plus de 6 ans dans l’exploitation des services managés AWS, à la fois dans le développement applicatif (Web, SaaS, 3D, etc.) et la gestion de la croissance d’infrastructures.

Il s’agit d’une étape nécessaire pour la migration d’OCWS sur la plateforme AWS afin de répondre au besoin de clients industriels globaux.

aws_logo_advanced_consulting_partner

En travaillant avec COREXPERT et AWS, ORINOX bénéficie pour la mise en place de cette offre de l’expérience et de la présence à l’échelle mondiale de spécialistes des services Cloud.

A son terme, le but de cette opération est de faire bénéficier chaque industriel et chaque ingénierie de l’expertise d’ORINOX pour assurer la digitalisation d’installation complexe, avec la facilité des solutions Cloud en terme de déploiement et de maintenance du Digital Asset, ainsi que l’accès à l’ensemble du portfolio des solutions AVEVA & LFM. Pour nos clients, cette solution permettra un accès à l’information transformée et simplifiée, tout en renforçant la sécurité de ces données très sensibles.

Cette offre complètera l’offre globale d’Orinox qui accompagne depuis déjà plus de 8 ans les industriels dans leur transition numérique via le déploiement des solutions AVEVA à l’échelle mondiale.

min_orinox_-_aveva_global_registered_services_partner

En effet, ORINOX est depuis 2016 l’un des tout premier AVEVA Registered Services Partner.

Nous nous engageons, par la digitalisation, à :

  • Réduire les temps de conception, d’achat et de réalisation de projet ;
  • Simplifier la transmission de dossier d’ouvrage exécuté ;
  • Assurer l’accès à l’information technique des projets ;
  • Améliorer la formation des opérateurs ainsi que l’accès et la flexibilité des formations ;
  • Limiter le risque industriel ;
  • Réduire les couts de production et maintenance des installations.

ORINOX est à votre écoute pour parler de vos projets et pour tout diagnostic. Vous pouvez les contacter ici : contact@orinox.com.

http://www.orinox.com/fr/societe/actualites-orinox/755-01-2017-partenariat-ocws-corexpert-amazon-aws

http://www.orinox.com/en/company/orinox-news/756-01-2017-partnership-ocws-corexpert-amazon-aws

Des statistiques en temps réel grâce à Corexpert et AWS

Des statistiques en temps réel grâce à Corexpert et AWS

Startup spécialisée dans l’advertising mobile, la plateforme en ligne de Vidcoin gère chaque jour plusieurs centaines de millions d’appels sur ses infrastructures cloud, en mettant en relation des utilisateurs d’applications et des annonceurs. Jeune et dynamique, la startup française à toujours su se démarquer par sa réactivité.

Le besoin

Pour devenir la référence en réactivité de leur secteur, Vidcoin a pu s’appuyer sur différentes statistiques de diffusion avec des délais de disponibilité réduits (moins d’une heure). Avec l’évolution de leur activité et l’accroissement de la concurrence, il a fallu mettre en place de nouveaux outils, avec l’objectif du temps réel. La multiplication du nombre de valeurs à mesurer (métrique), combinée aux nombreuses dimensions possibles a obligé Corexpert à imaginer une solution générique, et suffisamment flexible pour évoluer facilement avec les besoins métier de Vidcoin.

L’existant

Des millions d’événements sont envoyés par les applications clientes et les partenaires publicitaires. Un outil simplifié de statistiques en temps réel est déjà en place, qui permet de suivre quatre combinaisons définies de métrique x dimension.

Le défi

Le challenge de Corexpert est de mettre en place un système capable de supporter la forte volumétrie de Vidcoin, tout en permettant de faire évoluer les différentes visualisations en fonction des besoins métier. La flexibilité et la capacité de montée en charge sont essentielles afin de suivre l’évolution permanente de la startup.

La solution

Après une étude des outils existants, Amazon Elasticsearch Service est apparu comme l’outil idéal. La simplicité de mise en place et de sécurisation du service sont ses principaux atouts. Les objectifs principaux lors de la création de l’infrastructure sont d’assurer une montée en charge élevée, tout en minimisant les temps de maintenance nécessaires et en conservant un niveau de sécurité élevé. Il a été décidé de s’appuyer sur les services Amazon Kinesis et AWS Lambda pour récolter et envoyer les évènements collectés dans ElasticSearch. Ces services permettent de faire transiter les différents événements au sein de la plateforme AWS, tout en conservant une infrastructure découplée et orientée micro-services : donc très flexible.

Le plugin Kibana permet une visualisation par le biais de tableaux de bords simplifiés. Il est installé par défaut, ce qui réduit le volume de développements ou temps de mise en place nécessaires.

vidcoin-use-case-aws-lambda-elasticsearch

Pourquoi ElasticSearch

AWS permet l’utilisation de la solution open-source ElasticSearch de manière managée. Grâce à ce service, il est possible d’administrer, augmenter la taille du cluster et sécuriser la solution ElasticSearch de manière simplifiée et efficace. Plutôt qu’une infrastructure qui aurait demandé un investissement important en administration pour assurer un haut niveau de disponibilité et de sécurité, il n’a fallu que quelques heures pour mettre en place en production la solution ElasticSearch, sans aucun risque pour le client car totalement découplée du reste de l’infrastructure technique.

Le résultat

Grâce à cette solution, Vidcoin peut visualiser l’ensemble de ses statistiques détaillées en temps réel et à tout moment. Les tableaux de bord évoluent au fur et à mesure de leurs besoins sans développement additionnel.

Les tableaux de bord Kibana, intégrés au back-office interne de Vidcoin, sont très rapidement devenus des outils incontournables, utilisés quotidiennement dans le pilotage de l’activité opérationnelle de la start-up.

aymeric_roffe_photo

Dans notre industrie, il faut en moyenne plusieurs heures pour pouvoir détecter un problème et le résoudre.
Grâce à ces dashboards, nous sommes en mesure de réagir en temps réel à n’importe quelle situation, sans contrainte, et apporter des solutions à nos clients.
Aymeric Roffe – Co-founder & CTO @Vidcoin

realtime-analytics-aws-corexpert