Компания Amazon анонсировала сервис для автоматизации потоков данных

Распределение потоков и обработка может производиться с любым количеством
данных и определяется на основе самих данных или проверки зависимостей.

Работа каждого конвейера данных определяется при помощи JSON-файла,
включающего в себя описание набора источников и адресатов данных,
предварительных условий, этапов обработки и графика работы. Amazon также
предоставляет графический интерфейс с функцией drag-and-drop для планирования и
запуска конвейеров.

К примеру, по заявлениям Amazon, клиенты могут «настроить ежедневное
копирование лог-файлов из кластера на Amazon EC2 в определенный участок
хранилища S3, с последующим еженедельным запуском широкомасштабного
параллельного анализа данных при помощи кластера Elastic MapReduce».

Amazon предлагает опциональную возможность установки условий, которые должны
быть выполнены прежде, чем будет запущен конвейер. Таким условием может быть,
например, наличие файла входных данных. О завершении работы конвейера будет
сообщено при помощи сообщения в Amazon SNS.

На данный момент AWS Data Pipeline находится в стадии ограниченной
бета-версии. Пользователи, желающие воспользоваться сервисом уже сейчас, могут
связаться по этому вопросу с
отделом продаж
AWS.