Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


Amazon lance Kinesis, un ETL temps réel pour collecter les gros volumes de données


Rédigé par le 30 Décembre 2013



L’acronyme “ETL” n’est pas utilisé par Amazon, comme si le concept était suranné. Mais Kinesis est pourtant bien un outil d’alimentation, comme en ont besoin tous les systèmes d’aide à la décision. Mais un outil d’alimentation en temps réel, destiné à ingérer et traiter des gros volumes de données. Amazon annonce un capacité de traitement allant jusqu’à plusieurs To par heure. Une capacité qui intéresse le monde du web (publicité en ligne, jeux, réseaux sociaux), de la finance, de la mobilité (géolocalisation) et surtout le domaine en fort développement des capteurs et de l’internet des objets.
A l’image des pipelines dont il reprend le nom, Kinesis permet d’ouvrir des canaux d’alimentation en temps réel, et d’ajouter des fonctions de retraitement des données, avant de les envoyer vers d’autres services comme Amazon Redshift, S3 ou EMR.
Pour Amazon, Kinesis va permettre aux clients d’ajouter des fonctions de traitement en temps réel aux applications existantes, reléguant à la préhistoire le concept de traitement par lots (batch).
Amazon Kinesis est pour l’instant disponible uniquement sur le centre serveur qui dessert l’Est des Etats-Unis, mais il devrait être déployé dans les autres régions Amazon Web Services dans les prochains mois.




Commentaires

1.Posté par Philippe NIEUWBOURG le 17/01/2014 15:48
Après en avoir discuté plus longuement avec Amazon, il me semble important de préciser un point. Kinesis ne propose pas de fonctions de transformation, pour l'instant. Il serait donc un "EL" sans le "T" :-)
La partie "transformation" est actuellement assurée par les éditeurs partenaires de Amazon.
Kinesis se rapproche donc à la fois d'un ETL et d'un bus de données. Il assure, aujourd'hui, uniquement une fonction de transport. Mais il dispose tout de même d'une "intelligence" par exemple en sauvegardant les données entrantes. Si le processus de transport ne s'achève pas correctement, les données ne sont pas perdues, et restent sauvegardées dans Kinesis.

Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.