Itinéraire d’un projet IA : Automatisation

15 avril 2019 corexpert

Dans notre article précédent, nous avons vu comment mobiliser les techniques de Deep Learning et Amazon Sagemaker pour établir un modèle de données permettant de distinguer un wafer défectueux d’un wafer de bonne qualité. Nous allons maintenant aborder l’industrialisation et l’automatisation de la solution.

Traitement des images et détection des défauts

Les wafers sont photographiés lorsqu’ils sortent de production. L’équipement, basé sur les lignes de productions, alerte une machine que des images de wafers sont disponibles. Une seconde machine virtuelle va chercher le lot d’images, lui applique un identifiant spécifique et envoie la donnée sur Amazon S3 afin de gérer son traitement.

L’arrivée de nouveaux fichiers sur S3 va déclencher un certain nombre d’actions, toutes orchestrées par le service AWS Step Functions. Ce service de AWS permet de coordonner et d’exécuter des actions dans un ordre spécifique. Chaque action étant strictement définie, il est possible d’obtenir un rapport précis en cas d’erreurs.

Une action se déclenche uniquement si les conditions et la tâche précédente ont été réalisées sans problème.

Pré-traitement de l’image

Cette première action attribue à chaque image un identifiant permettant une rapide indexation des wafers et lui applique des pré-traitements utiles pour la suite du processus.

Utilisation de Amazon DynamoDB pour la traçabilité des lots d’images.

Les identifiants de chaque lot d’images sont stockés temporairement dans une base de données NoSQL.

Traitement en simultané des images avec le modèle.

Grâce au service AWS Lambda, les images sont confrontées au modèle établi avec Amazon SageMaker. Lambda gère la scalabilité et est serverless (pas de nécessité de gérer soi-même les serveurs où s’exécute le code). En aucun cas cette étape est un goulot d’étranglement grâce à la capacité de déploiement en simultanée de machines temporaires.

Détection d’une défaillance possible

Si une anomalie a été détectée, un rapport d’erreur est produit indiquant où sur l’image le défaut est décelé. Grâce à l’indexation de l’étape 1, le lot de wafer imparfait est facilement identifié.

Alerte de la fin du traitement

Une fois l’éventuel rapport d’erreur créé, une alerte est envoyée aux équipes en charge.

Avec une fiabilité de l’algorithme de plus de 98%, le résultat obtenu est largement digne de confiance et permet d’engager les opérateurs de Soitec sur des tâches plus sophistiquées et moins répétitives.

Pour conclure, voici les avantages de l’industrialisation du système :

Optimisation financière grâce aux services serverless (paiement à la ressource consommée), à un stockage peu cher (S3) et à un environnement reposant sur des services managés (pas de frais externes à l’utilisation du service)

Sécurité des informations entre les ressources sur site et le cloud de AWS très importante (segmentation du réseau grâce au VPC, règles de firewall et d’accessibilité précises)

Scalabilité très importante du fait des services AWS mobilisés. Le traitement des images n’est pas limité par un seuil maximal et toutes les comparaisons avec le modèle sont faites simultanément quelle que soit la charge.

Déploiement facilité grâce à AWS SAM. SAM est une extension de Cloud Formation permettant de déployer des environnements serverless déjà configurés.

Centralisant les ressources sur une seule stack, SAM garantit le bon déploiement de l’infrastructure sur un environnement de production et simplifie la maintenance.

Si vous aussi, comme Soitec, vous souhaitez vous emparer des opportunités qu’offrent le cloud de AWS, n’hésitez pas à nous contacter ! Nous mettrons tout en œuvre pour vos projets de migration, d’optimisation et de développement afin de rendre vos idées une réalité.

Retour sur l’AWS Summit Paris 2019

11 avril 2019 corexpert

Le mardi 2 avril 2019, Corexpert était présent au Palais des Congrès pour participer à l’AWS Summit Paris 2019. Cette journée consacrée au cloud AWS a permis de rassembler partenaires et public autour des thématiques du cloud et permettre une plus grande accessibilités des acteurs de l’innovation !

La Keynote d’ouverture introduit par Julien Grouès, directeur général d’AWS en France, s’est avérée révélatrice du potentiel du monde numérique français qui prend de l’ampleur au fil des années : 300 participants seulement il y a 7 ans contre plus de 7000 aujourd’hui, 30 témoignages clients et 70 sponsors. Des retours d’expériences de prestigieuses entreprises aux domaines diverses ont accompagné le discours du CEO français d’AWS et marqué l’ouverture de cette journée de collaboration.

Tout au long de la journée, le dialogue était au rendez-vous. Corexpert et TeamWork ont pu échanger avec le public sur les très nombreuses thématiques et innovations proposées par la plateforme leader du marché. Corexpert a vu son stand accueillir des amateurs intéressés ou plus expérimentés en recherche d’informations complémentaires pour parfaire leur aventure dans le cloud. Jean-Cloud lui même a rencontré un franc succès chez les visiteurs !

Lors d’une conférence, Corexpert et Teamwork ont partagé, devant un large public, leurs travaux sur l’itinéraire d’un projet IA avec le témoignage de notre client Xavier Michallet, responsable du département Data de Soitec. Les techniques liés à l’IA sont de plus en plus intégrées dans les processus industriels et ouvrent de nombreuses perspectives. Sur des tâches laborieuses ou peu complexes, la mise en place de techniques de machine learning permettent un contrôle qualité optimal et d’engager des ressources sur des tâches plus sophistiquées et à valeurs ajoutées.

Vous pouvez retrouvez plus de détails dans nos articles dédiés à cette présentation : sur la partie Machine Learning du projet et sur la partie industrialisation de la solution.

Ce fut également l’occasion pour les communautés AWS françaises de se réunir autour d’un stand pour échanger et partager leurs connaissances avec les visiteurs du Palais des Congrès. Toujours un moment convivial, les AWS User Groups sont un moyen d’accroitre ses connaissances et de partager des retours d’expérience ou des ateliers autour d’AWS. Vous pouvez trouver facilement un près de chez vous ! Si vous êtes Lyonnais, n’hésitez pas à rejoindre le groupe !

L’AWS Summit Paris 2019 marque aussi le lancement du championnat de course autonome : la DeepRacer League a été animée tout au long de la journée par le commentateur Marc Chavet. La course de DeepRacer League consiste à faire rouler une mini-voiture pilotée grâce au reinforcement learning partie avancée du Machine Learning. L’objectif est de réussir des tours de circuits avec un temps de parcours le plus court possible !

Deux de nos collaborateurs chez Corexpert se sont lancés dans l’aventure dans l’espoir de remporter la AWS DeepRacer Cup avec un succès mitigé. Une victoire à la course permettait de sécuriser un spot pour la grande finale qui aura lieu lors de la Re:invent 2019 aux Etats-Unis.

Nous avons également participé à l’AWS GameDay le lundi 1 avril ! Un jour avant le début du AWS Summit Paris, Corexpert et TeamWork étaient présents pour relever le challenge. L’objectif du GameDay est résoudre un problème donné avec des ressources AWS bien définies. Pour cette session, 3 applications devaient être déployées et des points étaient attribués selon le succès ou l’échec des requêtes.
Une attention particulière était portée sur la scalabilité de l’ensemble afin de résister à toutes charges. “Everything fails all the time” dixit le CTO de AWS, Werner Vogels, et une partie de cette problématique se retrouvait dans le projet à mener à bien !

Les équipes devaient en permanence surveiller et vérifier le bon fonctionnement de leur infrastructure mise à mal par un groupe pouvant changer certaines configurations (comme les tables de routage…).
Notre équipe a su démontrer son efficacité : dans le délai de 2h30, Jeremy, Marouen et Yahya ont su gagner la seconde place du concours pour leur première participation !

Itinéraire d’un projet d’IA : Machine Learning

10 avril 2019 corexpert

Soitec est une entreprise française concevant et produisant des matériaux semi-conducteurs utilisés dans de très nombreux équipements électroniques (smartphones, ordinateurs, automobiles…). Fondé en 1992, Soitec emploie un millier de personnes dans le monde, possède des sites industriels en France et intervient sur le marché mondial.

Produit phare de l’entreprise, le wafer est un disque fin semi-conducteur qui sert de support pour des circuits intégrés ou des transistors. La qualité du produit et sa vérification étaient réalisées à la main où chaque lot de wafer était observé afin d’éviter tout produit défectueux.

La volonté d’automatiser le processus de validation et la possibilité de remonter les potentielles anomalies aux équipes ont été l’opportunité de mobiliser certaines innovations portées par le cloud.

Nos experts à Corexpert et à TeamWork ont travaillé de concert pour aboutir à un résultat fiable, performant et économique. Nous avons mobilisé notre savoir-faire et les services d’AWS tels que Amazon SageMaker, Amazon S3, AWS Step Functions, AWS Lambda et Amazon DynamoDB afin de concilier les ressources sur site et celles présentes dans le cloud.

La détection d’imperfections sur les wafers repose sur un algorithme fiable à plus de 98%, un résultat bien au-delà des attentes fixées par Soitec. Cela est aussi largement supérieur à l’algorithme de traitement d’image classique utilisé jusqu’à présent (qui n’est pas évolutif et demande un calibrage très précis à chaque maintenance de la machine) ou aux résultats d’humains (qui fatiguent vite sur ce poste pénible et laissent passer des défauts).

Ce projet a été présenté durant le AWS Summit Paris 2019 avec la participation de l’entreprise et nous vous proposons deux articles afin d’appréhender le travail effectué. Dans un premier temps, nous nous concentrerons sur la partie Deep Learning et la création du modèle vérifiant l’état du produit. Dans une seconde partie, nous aborderons le côté industrialisation et automatisation de l’infrastructure du projet.

Plan d’architecture présenté lors du AWS Summit de Paris en 2019

Deep Learning, modèle et fiabilité

L’intérêt de mobiliser les méthodes d’apprentissage automatique est de repérer les anomalies rapidement et de pointer précisément où l’imperfection se situe. Ces techniques permettent de réduire les erreurs sur des tâches laborieuses et ne nécessitent pas de connaissances spécifiques quant au produit.

La gestion des données de référence et le déploiement des modèles d’apprentissage ont été réalisés grâce au service Amazon Sagemaker. SageMaker a la particularité d’être un service managé permettant à tout développeur et spécialiste de créer, modifier et tester des modèles de données. SageMaker prend en charge et optimise les principaux frameworks utilisés dans le Machine Learning tout en permettant d’ajouter ses propres configurations.

Pour obtenir le meilleur résultat, plusieurs modèles sont configurés afin de déterminer lequel est le plus apte à détecter des défauts.

Ce graphique illustre bien comment un modèle est généré à partir de données brutes. Sagemaker permet de préparer les tâches d’apprentissage (via les notebooks), d’entrainer les modèles (jobs), puis d’étudier les modèles obtenus (models) et enfin de les déployer et d’obtenir une API pour les interroger (endpoint).

Dans un ensemble de données (data set), on sélectionne un panel d’images aléatoirement puis on l’entraine à reconnaitre les wafers conformes à ceux ayant des anomalies. Une intervention humaine peut être intégrée afin de trier les données ambiguës.

En cas de surentrainement, le modèle ne se réfère plus qu’à un produit spécifique et interprète toute déviation comme anomalie. Et à l’inverse, un modèle peu entrainé risque d’accepter des pièces souffrant de défauts mineurs comme des références. Le but est d’arriver à un équilibre entre entrainement (basé sur le data set) et capacité du modèle à déduire les défauts sur une pièce originale.

Une fois le modèle testé et validé, il est temps de le confronter aux lots d’images de wafers sortant des chaînes de production. La vérification est faite via une API créée également à partir de Sagemaker.

En conclusion :

Amazon SageMaker est un service managé intégrant un grand nombre de frameworks facilitant la création et les tests de modèles de données.
Plusieurs modèles sont créés pour obtenir celui qui est le plus apte à reconnaitre les erreurs.
Il est toujours possible d’enrichir le modèle grâce à l’ajout de données sur le data set.
La vérification entre le modèle et les images à vérifier se fait facilement grâce à une API.

Nous avons terminé sur la partie machine learning du projet, nous verrons dans un prochain article comment l’automatisation de la solution a été mise en place !

Nouvelles têtes chez Corexpert !

11 mars 2019 corexpert

De quelques employés en 2008 à une trentaine aujourd’hui, Corexpert est réputé pour son expertise et sa connaissance dans l’environnement d’AWS. C’est grâce à une équipe dynamique et qualifiée que nous pouvons conseiller et élaborer des projets d’envergure. En février, Damien et Pablo ont intégré l’équipe en tant que respectivement architecte solution et développeur. Nous avons profité de l’occasion pour leur poser quelques questions sur leur venue à Corexpert.

Tout d’abord, pourquoi avoir choisi Corexpert plutôt qu’une autre entreprise de service du numérique (ESN) ?

Damien : C’est une bonne question ! Corexpert est en concurrence avec d’autres entreprises dans le milieu. C’est en discutant avec mes relations issues de mon expérience (je travaille depuis plus de 20 ans dans l’informatique) que TeamWork et Corexpert ont été particulièrement mentionnées. Je souhaitais me tourner pleinement sur AWS et plus spécifiquement sur la technique, chose qui manquait dans mon précédent emploi.

Pablo : Avant de commencer chez Corexpert, je travaillais déjà dans une grande entreprise d’informatique. J’avais aussi envie de découvrir le cloud de AWS et de travailler grâce à des techniques en constantes innovations et d’avoir de l’autonomie sur un projet. Je souhaitais me sentir en confiance avec l’équipe de travail, qu’il existe un véritable échange et c’est le cas chez Corexpert.

Parmi la diversité d’activités que Corexpert propose, peux-tu nous citer les éléments les plus intéressants à ton sens ?

D : Le plus intéressant chez Corexpert c’est que nous avons une vision globale du projet, c’est-à-dire que nous ne participons pas uniquement à une phase mais à la totalité d’une mission. Avant-vente, conception, tests, mise en production, c’est plutôt stimulant de pouvoir s’investir dans les étapes intermédiaires du projet.

P : Je suis très autonome dans la réflexion de projet : j’adore le fait que je puisse proposer et trouver des solutions par moi-même. L’équipe qui m’entoure est très proche que ce soit lors de mes questions ou en cas de problème. La possibilité de s’autoformer, de participer à des workshops mais aussi de développer son anglais grâce à une intervenante extérieure est un véritable avantage.

Pablo et Damien ont rejoint Corexpert en février 2019

Comme tu le sais, nous évoluons dans un monde où de nombreuses entreprises se spécialisent dans le cloud avec de nombreuses avancées technologiques telles que le développement de l’IA, que penses-tu de ces avancées ?

D : Ces avancées vont très vite et ce n’est pas sans conséquence. Nous avons à peine le temps de commencer à maîtriser une de ces technologies que nous en voyons une autre apparaître. L’évolution de l’informatique est exponentielle ! Les innovations sont constantes et c’est pourquoi la formation est primordiale. C’est une véritable opportunité qu’offre Corexpert de se former sur le cloud leader du marché.

P : Je suis particulièrement intéressé par l’Intelligence Artificielle et plus spécifiquement sur le Machine Learning. Grâce au Deep Learning, de très nombreuses possibilités nous sont ouvertes ! J’ai commencé à travailler sur un modèle d’interprétation qui concerne les cryptomonnaies et je compte bien développer ce projet avec les connaissances acquises avec Corexpert.

Damien tu viens d’un milieu assez similaire, pourquoi avoir voulu se tourner vers le cloud ?
Le cloud à ses débuts, je n’y croyais pas, je parle de cela il y a quelques années. Petit à petit j’ai vu son essor et l’importance qu’il a pris en si peu de temps. C’est à ce moment que je me suis dit qu’il fallait que je me lance. C’est un bouleversement, une grande étape dans la consommation de l’informatique.

Quant à toi Pablo, tu as choisi de t’orienter sur l’informatique après une première expérience dans l’architecture, pourquoi ce choix ?

Le numérique m’a toujours plu même durant l’architecture, je n’étais jamais loin du système informatique. Je trouve que l’informatique est un moyen de création. Les outils dans l’architecture nécessitent plus d’intermédiaires pour créer un bâtiment; ils sont souvent difficiles à mettre en place et alors qu’en revanche, l’informatique est plutôt un accélérateur dans un projet.

Comme Pablo et Damien que tu sois Ingénieur(e), Technicien(ne), Autodidacte, n’hésite pas à nous contacter, nous sommes toujours à la recherche de nouveaux talents. C’est la richesse des parcours de chacun qui fait notre force.
Nos offres d’emplois sont consultables sur notre site.

ELL’OWEB : découverte des services Amazon & introduction à l’IA

27 février 2019 corexpert

Corexpert soutient de nombreuses actions sur le territoire Rhône-Alpes et en particulier sur la promotion du numérique pour tous et toutes. Nous pensons que la diversité des profils et des parcours sont des atouts dans notre cœur de métier. Depuis 2018, Corexpert est en lien avec OPE (Objectif pour l’Emploi) et participe aux actions de l’association.

L’association OPE
OPE (Objectif Pour l’Emploi) est une association qui a pour but de favoriser l’égalité des chances en accompagnant les choix d’orientation et l’insertion professionnelle.

En 2018, Corexpert devient partenaire de l’association OPE, en participant à deux programmes :

· ITD (“Ingénieur-e & Technicien-ne de Demain”)
Le manque de figure d’identification pour les jeunes filles est l’une des causes explicatives de la désaffection de ces dernières pour les métiers du numérique. L’objectif est alors de faciliter les processus d’identifications grâce aux témoignages d’ingénieures et de techniciennes dans les établissements scolaires.

· ELL’OWEB
Le programme, lancé en 2017, permet de sensibiliser et d’initier des lycéennes aux métiers du numérique, en participant tous les mercredis à des ateliers gratuits sur diverses thématiques (développement web, sécurité des données…).

ELL’OWEB : La promotion 2018-2019
Cette année, les lycéennes se lancent dans la création d’un t-shirt, en participant à plusieurs ateliers sur la création du site web, du logo…

Corexpert, dont la session se déroulera le 6 mars 2019, leur permettra de découvrir plusieurs services AWS (API Gateway, Lambda, StepFunctions, DynamoDB, S3) et de s’initier à l’Intelligence Artificielle.

L’atelier, d’une durée de deux heures, portera sur la création d’un dessin via une IA, qu’elles pourront intégrer, par la suite, à leur site web et/ou leur t-shirt. Les lycéennes coderont les 11 fonctions Amazon Lambda que nous leur avons préparées. A la fin de l’atelier, les lycéennes auront la possibilité de continuer à améliorer leur IA en notant les différentes images depuis leur compte Slack, et pourront choisir de partager leurs plus belles créations sur le compte Twitter de leur promotion.

Au terme de l’atelier, une invitée surprise nous parlera de son parcours exceptionnel, conjuguant études universitaires et sport de haut niveau.

Sortie du livre « Intelligence artificielle pour les développeurs » de notre experte IA

19 février 2019 corexpert

Virginie Mathivet est directrice de la R&D et travaille au sein du laboratoire d’innovation (InTW’IT) de TeamWork en tant que spécialiste Intelligence Artificielle.

Également conférencière et auteure, son dernier livre vient de sortir aux Editions ENI. Nous en avons profité pour lui poser quelques questions.

D’où vient cette idée de livre ?

Dans une « ancienne vie », j’étais professeure d’intelligence artificielle. Souvent mes étudiants me demandaient des livres pour creuser le sujet, mais malheureusement la majorité des livres en français ne contenaient que des formules mathématiques. Et mes étudiants n’aimaient globalement pas les maths… sans compter que les concepts étaient souvent peu clairs, pas assez illustrés, et l’approche un peu trop « rude ».

Bref, j’ai eu envie d’écrire le livre que j’aurai aimé trouver lorsque j’étais étudiante. Le concept a plu et c’est ainsi qu’est né le premier livre de cette série, puis les suivants (NDLR : le livre qui vient de sortir est le 4ème).

Du coup, que retrouve-t’on dedans ?

Chaque chapitre est construit de la même manière : la première partie amène les concepts à comprendre sur une technique d’IA (comme les systèmes multi agents ou les algorithmes génétiques). Ces concepts sont expliqués à travers d’explications imagées, d’exemples ou d’analogies simples à comprendre, sans équations mathématiques complexes (pas de démonstrations non plus). N’importe qui, quel que soit son niveau, peut donc lire cette première partie. Elle se termine toujours par des cas d’usages réels et publics.

La deuxième partie du chapitre concerne plus les développeurs. En effet, chaque technique est codée depuis 0 en Java ou en C# (selon la version du livre), pour expliquer à quoi cela correspond en pratique, et comment créer un système de toute part.
Même si j’utilise principalement le Python en entreprise et que je me base sur des frameworks déjà codés, il est toujours intéressant de comprendre ce qu’il y a derrière. Et l’IA ne se limite pas au Python !

Et le Deep Learning ?

Un des chapitres est dédié aux réseaux de neurones. Le Deep Learning n’est qu’une de ses branches, et donc on le retrouve en bonne place dans ce chapitre. Cependant, la majorité des concepts s’appliquent à tous les réseaux de neurones, le deep learning n’étant qu’un ensemble d’architectures « profondes » (au sens où on trouve beaucoup de couches de neurones).

Vous pouvez retrouver les livres de Virginie Mathivet directement sur le site de l’éditeur ENI ou sur les sites de vente en ligne.
Virginie Mathivet animera également un webinaire le 1er mars 2019 sur la thématique « Le Deep Learning : concepts et cas d’usage ». Pour vous inscrire c’est ici !

Le Service Level Agreement chez AWS

10 janvier 2019 corexpert

Article mis à jour le 16 janvier 2019 avec l’ajout du SLA pour 3 composants du service Kinesis (Data Firehouse / Video Streams / Data Streams)

Chez Corexpert, nos clients nous posent souvent cette question :

« On nous parle toujours de Haute Disponibilité et Très Haute Disponibilité chez AWS, mais s’engagent-ils vraiment ? Existe-t-il un SLA ? »

Qu’est ce que le SLA ?

Le SLA, ou Service Level Agreement, est le niveau de qualité et de performance contractuel d’un service ou d’une infrastructure technique. Dans le cas de AWS, fournisseur Cloud, on parlera donc bien d’un service, vu qu’on évolue dans le monde IaaS – Infrastructure as a Service !

Le SLA doit cadrer en premier lieu de quelle fourniture nous parlons, et les critères de performances sur lesquels le fournisseur va s’engager. On pourra donc parler de temps de réponse, de fonctionnalité assurée, de disponibilité complète du service etc.

SLA chez AWS

Nous allons parcourir ci-dessous les principaux services ou services majeurs de l’offre AWS, qui possèdent un SLA à la date de rédaction de cet article. Bien évidemment la liste est non exhaustive.

Amazon Route 53 : SLA du DNS AWS

Le service DNS de AWS, Amazon Route 53, possède un SLA de disponibilité du service du niveau le plus haut possible. En effet, on a ici un engagement de disponibilité de 100% sur le service, ce qui est explicité par « Amazon Route 53 n’échouera pas pour répondre à vos requêtes DNS dans le cycle de facturation d’un mois ». Pourquoi parler d’un mois ? Car AWS, s’engage, en cas d’éventuelle défaillance avérée, de vous rembourser sous forme de crédits sur ce cycle de facturation.

Extrait de la page SLA – Amazon Route 53 au 10 janvier 2019

Amazon EC2 ou Elastic Cloud Compute : SLA des VM AWS

Service principal de AWS, Amazon EC2 et Amazon EBS fournissent respectivement l’hyperviseur managé pour exécuter vos Machines Virtuelles, aka instances EC2 et le stockage virtualisé Amazon Elastic Block Store (EBS). Le SLA a été étendu à Amazon Elastic Container Service (ECS) et AWS Fargate (deux services ayant traits aux conteneurs Docker) depuis 2018.

Le SLA des services, avec l’engagement de Amazon Web Services, est d’au moins 99.95% mensuel. Soient moins de 22 minutes.

Si une indisponibilité est avérée entre 99.90 et 99.99%, AWS s’engage à effectuer une remise de 10% en crédits AWS sur le service EC2 et en deçà de 99.0% de disponibilité AWS propose une remise de 30% en crédits.

Il est important de noter que le SLA est lié à l’état « Region Unavailable« . Si vous ne le savez pas déjà, une région est l’ensemble de plusieurs zones (2+) de disponibilités mais dans le cadre du SLA, AWS précise que l’état « Région indisponible » vous concerne si plus d’une zone de disponibilité où vous exécutez des instances EC2 est indisponible, c’est-à-dire que les instances n’ont plus accès à Internet.

L’indisponibilité de EBS est avérée lorsque les volumes de stockage ne génèrent plus d’I/O avec une file d’attente non vide.

Amazon RDS, SLA des bases de données managées AWS

Amazon RDS est le service de Base de données managée par AWS, il supporte à ce jour MySQL, Oracle, PostgreSQL, MariaDB, Microsoft SQL Server, AuroraDB. Mais le SLA proposé par AWS, concerne uniquement les instances Multi-AZ (c’est à dire avec un serveur en Stand-By mode dans une autre zone de disponibilité) des moteurs SQL : Oracle, MariaDB, MySQL & PostgreSQL. Ce SLA est de 99.95% de disponibilité du service. L’indisponibilité est avérée quand toutes les requêtes de connexion échouent pendant une minute sur l’instance RDS multi-AZ.

Engagement de AWS pour RDS et remboursement en crédits au 10 janvier 2019

Amazon S3, SLA du stockage AWS

Amazon S3 est le service de stockage d’objets, il est l’un des plus anciens services de AWS et possède une durabilité des données de 99.999999999% en mode de stockage standard. Toutefois le SLA concerne la disponibilité d’accès à la données stockée via l’API AWS. Le SLA de Amazon S3 est donc calculé sur le comptage d’erreurs ou d’indisponibilité de l’API sur 5 minutes.

L’engagement de AWS est de conserver une disponibilité au-delà de 99.9% mensuel, ce qui représente moins de 43 minutes 12 secondes.

Si AWS ne peut assurer cette disponibilité sur la région où est stocké votre bucket S3, alors 10% de remise sur le coût de stockage S3 seront reversés en crédits, et en deçà de 99.0%, alors la remise en crédit s’élèvera à 25% du coût du service Amazon S3.

Depuis janvier 2019, ces règles ont été étendues à Amazon Elastic File System (EFS) avec les mêmes engagements que pour S3. Amazon EFS est un système de stockage de fichiers simples managé (AWS gère l’infrastructure pour vous).

Amazon CloudFront, SLA du CDN AWS

Amazon Cloudfront est le service CDN de AWS, avec plusieurs dizaines de « Edge Locations », ce service met en cache les requêtes web selon vos comportements et pattern d’URLs choisis. Il permet des diffusions et donc des chargements de données accélérés sur les sites web et applications mobile, notamment lorsque du contenu media transite.

AWS s’engage à maintenir une disponibilité globale du service au-dessus de 99.9% mensuel (identique à Amazon S3). Les remises effectuées sur le service, en cas de défaillance avérée, également basé sur la fréquence des erreurs d’accès aux données sont identiques à celles de Amazon S3.

AWS Shield, SLA du service de protection anti-DDoS

Lancé lors du re:Invent 2016, AWS Shield est l’officialisation de la protection anti DDoS de AWS. Le service utilise et protège les autres services Amazon CloudFront et Amazon Route 53, et son SLA, ramené sur des périodes de 24 heures, est lié directement aux SLA des produits cités précédemment. On pourra donc traduire ce SLA, par un simple rappel que l’utilisation du service AWS Shield devant Amazon CloudFront ou Amazon Route 53 ne modifie pas leur SLA.

Amazon API Gateway, SLA sur la gestion des API

Depuis janvier 2019, AWS s’engage à assurer une disponibilité de 99.95% mensuel du service Amazon API Gateway. Ce service entièrement managé facilite la gestion, la surveillance et la sécurité des API de n’importe quelle taille. En cas de rupture du service, le crédit alloué est identique à ceux de RDS : 10% de remise entre 99.0% et 99.95% et 25% de remise pour une disponibilité mensuelle moindre à 99.0%.

Amazon EMR, SLA sur les frameworks Big Data

En janvier 2019, Amazon EMR bénéfice d’un engagement en terme de disponibilité de la part d’AWS. Les frameworks Big Data gérés par le service possède un SLA de 99.9% mensuel.

Engagement de AWS pour EMR et remboursement en crédits au 10 janvier 2019

Amazon Kinesis, SLA sur la gestion des données en streaming

Amazon Kinesis traite de la collecte, du traitement et de l’analse de données en streaming en temps réel. Le SLA sur lequel s’engage AWS touche trois composants principaux de Kinesis : Videos Streams, Data Streams et Data Firehose. L’engagement de disponibilité des services est de 99.9% mensuel avec une remise de 10% à 25% en cas d’indisponibilité.

Synthèse des SLA chez AWS

Service AWS	SLA mensuel	SLA minutes/mois
Amazon Route 53	100.00 %	0 seconde
Amazon EC2	99.99 %	4 minutes 30 secondes
Amazon RDS	99.95 %	21 minutes et 36 secondes
Amazon S3	99.90 %	43 minutes et 12 secondes
Amazon CloudFront	99.90 %	43 minutes et 12 secondes
AWS Shield	Cf. CloudFront ou Route 53	Cf. CloudFront ou Route 53
AWS API Gateway	99.95 %	21 minutes et 36 secondes
Amazon EMR	99.90 %	43 minutes et 12 secondes
Amazon Kinesis (Data / Videos Stream / Data Firehose	99.90 %	43 minutes et 12 secondes

Calcul du SLA d’une infrastructure AWS

Partons d’une infrastructure Web App, relativement classique. Elle est composée de plusieurs serveurs applicatifs frontaux, ici EC2 C4.Large, le code exécuté est le même sur chaque instance, et nous avons une redondance multi-zone de disponibilités. La base de données est un MySQL sur RDS en Multi-AZ (Stand-By Instance). Les éléments statiques du sites sont stockés sur S3. CloudFront, est placé devant le Load Balancer, il met en cache les éléments statiques de S3 et reroute les autres requêtes sur le LoadBalancer. Route53 gère le nom de domaine du site.

Infrastructure Web : Amazon Route 53, CloudFront, S3, EC2 et RDS

Voici comment nous pouvons calculer le SLA de cette infrastructure, bien entendu celui-ci est dans le cas d’une défaillance de tous les services AWS utilisés sur une région, et dans le cadre du SLA de chacun de ses services. Dans ce cas l’infrastructure ne peut prétendre à un SLA supérieur sans redondance supplémentaire.

RDS Multi-AZ MySQL : SLA de 99,95 %
EC2 : SLA de 99.95 %
CloudFront : SLA de 99.9 %
S3 : SLA de 99.9%
Route 53 : 100.0 %

Le SLA de l’infrastructure brute sera de :

99.95% x 99.95% x 99.9% x 99.9% x 100% = 99,70 %

Si l’on considère que l’indisponibilité S3 n’est pas critique pour la conservation de la disponibilité de l’infrastructure web (par exemple une API) et qu’on gère via Route 53 l’éventuel downtime de CloudFront en pointant vers le Load Balancer en secours, nous gagnerons 0,2% de SLA juste par modification et optimisation du Design de l’infrastructure :

99.95% x 99.95% x 100% = 99,90 %

N’hésitez pas à poser vos questions ou nous contacter pour plus d’informations.

Quand le serverless propulse le machine learning !

14 décembre 2018 corexpert

Machine learning et serverless sont des techniques qui révolutionnent le développement et la capacité d’interagir avec les données. En mobilisant les atouts du cloud, il est possible de conjuguer performance, disponibilité et optimisation des coûts permettant d’innover dans des situations complexes.
C’est une situation courante pour les entreprises en croissance comme Watiz, une start-up française spécialisée dans l’Intelligence Artificielle et la vision par ordinateur.
Le défi posé était de permettre une reconnaissance de produits à partir d’images prises depuis une application mobile et les associer aux produits de marques partenaires.

Challenge accepted

En plus de mobiliser des technologies avancées, la démonstration devait être disponible pour la VivaTech 2018 ne laissant que peu de temps pour élaborer, construire et tester la solution.
Corexpert a mobilisé plusieurs services AWS pour répondre à la demande : S3 pour le stockage, RDS et DynamoDB pour les bases de données, Lambda pour l’exécution du code en serverless et SageMaker pour la partie machine learning.

S3 a été mis à contribution afin d’héberger les images des produits partenaires.
Les base de données DynamoDB et RDS Aurora ont pour but de stocker les informations utilisateurs (comme l’historique des résultats) et indexer les données de références, utilisées pour le machine learning.
Le jeu de données est la base permettant au service SageMaker de pouvoir élaborer un modèle permettant un traitement rapide et intelligent des requêtes.

Concernant le backend, le cœur de l’application repose sur l’orchestration de Lambda.
En bref, les lambdas permettent la liaison entre le modèle issu de SageMaker et la requête de l’utilisateur en comparant les produits avec le catalogue.
Grâce au modèle serverless, les coûts sont maitrisés (prix à la requête), l’application est hautement disponible (service managé et scalable face à la demande) et le morcellement en plusieurs lambas facilite la maintenance tout en assurant les performances de l’application.
La démonstration a pu être livrée en 2 semaines permettant à Watiz de présenter l’efficacité de son idée de manière concrète à la Vivatech.
Vous pouvez retrouver le use case ici.

Serverless et le machine learning sont des sujets auxquels AWS est très attaché : de nombreuses fonctionnalités ont été dévoilées avant et pendant la Re:Invent 2018. On note par exemple, les lambda layer, l’intégration de Lambda dans les Load Balancers ou l’intégration de services AWS supplémentaires pour Step Functions.
Concernant le machine learning de très nombreuses améliorations du service SageMaker, fer de lance d’AWS ont été présentées. Le coté ludique n’est pas en reste pour apprendre à utiliser cette nouvelle technologie avec les DeepRacer !

Si vous êtes interessés par les nouveautés de la Re:Invent 2018, nous avons regrouper l’essentiel dans un précédent article ! Vous souhaitez profiter des atouts du cloud ? N’hésitez pas à nous contacter !

Retour sur la Re:Invent 2018

7 décembre 2018 corexpert

Bien des nouveautés AWS ont été présentées à la Re:Invent de 2018 ! IoT, serverless, database, supervisions des services, analyse des données, blockchain, machine learning, stockage… il y en a eu pour tous les goûts ! Le machine learning a été particulièrement mis en avant cette année, vous pouvez retrouver ici un recap par Julien Simon (AI et Machine learning Evangeliste AWS).

Au lieu d’effectuer un inventaire des nouveaux services (qu’AWS a très bien fait de son côté), nous avons interrogé les membres de l’équipe ayant décollés pour Las Vegas. Quels sont les services et fonctionnalités les plus intéressantes annoncées ? En tant que participant, quels sont les points forts de cette Re:Invent ? Des points négatifs ?

Sylvain (Professional Solutions Architect AWS)

Pour sa deuxième année consécutive de participation au Re:Invent, Sylvain est très intéressé par les mises à jour concernant serverless.

StepFunction – l’orchestration des services est facilitée avec l’intégration de nombreux services (ECS, Fargate, DynamoDB, SNS, SQS, Batch, Glue et SageMageker) facilitant l’automatisation, la sécurité et la supervision des workflows. Pour en savoir plus…

Lambda avec ALB – Application Load Balancers (ALB) peut maintenant être lié avec des Lambdas pour les requetes HTTPS. Un schéma pour mieux comprendre

♥ Keynote d’Andy Jassy
♥ Rencontres avec la communauté
♥ Goodies ou Swag
♥ Certifications accessibles

⊗ Beaucoup d’informations à absorber
⊗ Versatilité du niveau des sessions / workshops : il est difficile de cerner le niveau / qualité des ateliers et des intervenants.
⊗ Canadiens ont eu un swag spécial indisponible aux Français !

Mohamed (Professional Solutions Architect AWS)

Première expérience de la Re:Invent pour Mohamed qui a particulièrement apprécié les alternatives proposés par AWS pour le réseaux et une nouvelle base de données time series.

Transit Gateway – un hub central de connexion entre les VPC d’AWS et une infrastructure on-premise. Simple et facile, fini les bricolages à base de rebond SSH ou de redirection de port avec NGINX. En savoir plus…

Timestream – une base de données managée time series, alternative à DynamoDB (avec un pattern spécifique) et à d’autres solutions Opensource tel qu’InfluxDB.

♥ Ambiance (course de DeepRacer, nombreuses animations & jeux)
♥ Re:Play (Skrillex)
♥ Logistique impressionnante

⊗ Énormément d’informations à digérer
⊗ Pas assez de sessions niveau 400
⊗ Le jet-lag

Marouen (Professional Solutions Architect AWS)

Les mises à jour apportant de la flexibilité à l’usage des services AWS ont été retenu par Marouen.

DynamoDB On demand – la base de données NoSQL de AWS est maintenant bien plus flexible : il n’est plus nécessaire de surdimensionner les tables afin de pouvoir absorber les pics d’activités. En savoir plus…

Amazon FSx – plus besoin de devoir monter un EFS sur Linux et de le partager en SMB afin de pouvoir exploiter un file system managé et distribué sous Windows

♥ Les chat talk permettant de poser des questions aux Product Owners des services AWS
♥ Les jokes sur Oracle lors des Keynotes
♥ La nourriture à profusion

⊗ Las Vegas (le bruit, les casinos…)

Germain (Sales Executive)

Germain a apprécié la volonté d’AWS d’améliorer les solutions cloud hybrides.

Amazon Outpost – ce service permet d’harmoniser les services et fonctionnalités d’AWS avec ceux présents on-premise et vice-versa !
Actuellement en preview, pour en savoir plus et s’inscrire…

VMware on AWS – l’intégration de VMware Cloud sur AWS est renforcé avec Outpost mais aussi avec l’intégration du service de base de données managées Amazon RDS dans l’environnement VMware.

♥ Keynotes : immanquable mais dense techniquement
♥ De plus en plus de place aux profils non techniques
♥ Vu 360° des offres AWS et périphériques, particulièrement crucial pour se projeter à moyen-terme sur le marché

⊗ Nécessite plus de préparation : un ciblage plus en amont des sessions, une arrivée à l’event plus tôt, etc.

Encore à l’affût d’informations ? Vous pouvez retrouver les sessions enregistrées et toutes les vidéos tournées durant le Re:Invent 2018. Les slides sont disponibles également.

D’autres interrogations ? Vous souhaitez profiter des avantages du cloud ? Un projet de migration ? Contactez-nous !

L’automne, c’est la saison de l’IA !

22 novembre 2018 corexpert

« Nos collègues à InTW’IT sont aussi des innovateurs, découvrez leur savoir-faire ! »

L’automne a été chargé en événements autour de l’IA pour TeamWork !

Tout d’abord, le 27 septembre, Arnaud JEAN, Data Architect, a présenté une application de Edge Computing lors du Meetup AWS. En effet, grâce à un modèle de Deep Learning créé spécialement, nous avons développé un jeu sur DeepLens (d’AWS) pour apprendre l’alphabet en ASL (langue des signes américaine).
Cette présentation a mis en avant les différentes compétences des équipes sur AWS, l’IoT, le edge computing, et le deep learning.
Le jeu est depuis visible dans l’Innovation Corner d’AWS à La Défense ! 😊

Le Github du projet est disponible ici ! Et une vidéo explicative du projet ci-dessous.

Le lendemain, le 28 septembre, deux ateliers ont été tenus par TW dans le cadre du forum PMI de Lyon. Cette conférence, organisée par le PMI (Project Management Institute), est destinée aux chefs de projets. Et cette année, le thème était l’intelligence artificielle !

Dans le premier atelier, Nicolas BOULITEAU, chef de projet DPP et Virginie MATHIVET, directrice de la R&D, ont présenté ce qu’était (ou non) l’IA et en quoi cela pouvait être utile à des managers et chefs de projets.
Dans le deuxième atelier, Solen SANSCHAGRIN, Data Scientist et Adrien RUEL, Data Scientist Junior, ont présenté une application de NLP (Natural Language Processing) et Sentiment Analysis créée au sein de TeamWork. Celle-ci permet de détecter l’agressivité de communication, pour prévenir la personne qui l’a écrit, avant qu’elle n’envoie son message par mail ou qu’elle ne le publie. De cette façon, la communication s’en trouve facilitée.
Une vidéo sera disponible prochainement sur ce dernier atelier.

Solen et Nicolas ont ensuite donné une nouvelle conférence pour le forum PMI de Toulouse cette fois-ci, et pas n’importe laquelle : la conférence d’ouverture !
Dans celle-ci, Solen et Nicolas ont indiqué ce qu’était l’IA, à quoi cela pouvait servir et ont même présenté plusieurs programmes utilisant l’IA à destination des managers et chefs de projets.

Pendant ce temps, les 10 et 11 octobre, Virginie était à Amsterdam pour le World AI Summit, une conférence internationale autour de l’IA. Pendant deux jours, elle a présenté les dernières avancées, les applications actuelles, et a permis de rester à jour sur l’état de l’art. De plus certaines conférences ont été très inspirantes !

Enfin, les 24 et 25 octobre, c’était le BlendWebMix 18 à la cité internationale de Lyon ! Virginie y était en tant que speaker avec une conférence « Hoaxbuster – version IA ». Le but ? Démystifier l’IA en insistant sur ce que ce n’est pas, et en prenant comme sources des articles de blogs, de journaux, des documentations… Bref, une remise au point nécessaire dans un environnement où l’IA est le mot-clé à la mode, malheureusement parfois sans réelle fondation…

Des projets dans l’IA ? Une volonté d’utiliser le Deep learning et l’IoT (Internet des Objets) pour améliorer votre productivité ? Contactez nous !