Amazon AWS Data Pipeline

Продукт
Название базовой системы (платформы): Amazon Web Services (AWS)
Разработчики: Amazon
Технологии: IaaS - Инфраструктура как услуга

Пользователи Amazon Web Services вскоре смогут создавать конвейеры задач обработки данных, включающие в себя различные сервисы AWS и локальные ресурсы, с помощью нового механизма оркестровки — AWS Data Pipeline.

Сервис доступен для бета-тестирования ограниченному числу участников. Как объясняют в Amazon, Data Pipeline позволяет автоматизировать движение и обработку любых объемов данных с проверкой зависимостей. Например, можно создать конвейер, по которому раз в день будут продвигаться журналы операций экземпляра AWS EC2 на сервис хранения AWS S3, и раз в неделю будет выполняться анализ накопленных данных на кластере AWS Elastic MapReduce.

Для создания конвейера пользователь указывает источники данных и назначает операции обработки, пункт назначения и расписание выполнения. Можно также задавать условия, которые сервис должен проверить перед запуском задачи, например, существование файла, подлежащего обработке. В конвейерах могут участвовать сервисы Amazon EC2, Elastic MapReduce, а также локальные ресурсы пользователя. Конвейеры можно создавать в AWS Management Console или путем написания скриптов.



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год