Техносерв DSW - Data Science Workspace

2018: Сервис Data Science Workspace

7 декабря 2018 года «Техносерв» объявил о создании в рамках центра компетенций Больших Данных (ЦКБД) подразделения для разработки сервиса Data Science Workspace – единого рабочего пространства для аналитиков по данным.

Data Science на декабрь 2018 года является одним из самых перспективных и быстрорастущих ИТ-направлений. Специалисты исследуют и разрабатывают прогнозные модели машинного обучения, которые помогают бизнесу увеличивать доход, например, за счет подготовки персональных предложений, или снижать издержки, рассчитывая вероятность аварий и брака на производстве. Из-за относительной новизны этого направления компаниям сложно определить достаточный для работы инструментарий, выработать регламенты работы подразделений, организовать контроль. При наличии потребности в особой инфраструктуре и поддержке со стороны инженеров Data Science-специалисты часто используют свой софт для работы.

Для того чтобы минимизировать вероятность потери данных, документов или результатов исследования специалистов, команда Техносерв Cloud и центр компетенций Больших Данных компании «Техносерв» разработали концепцию облачного сервиса для упрощения и ускорения работы команды Data Science. Её реализацией занимается недавно сформированное продуктовое направление ЦКБД, которое возглавил Тимур Мишин.

Сервис Data Science Workspace (DSW) компании смогут получать по подписке как на базе облака Техносерв Cloud, так и в своём private cloud. Сервис предлагает среду для совместной работы команды DS на базе стека ПО Jupyter с возможностью выделять и управлять профилями вычислительных ресурсов и общей папкой для данных и исследований. В ближайшем будущем планируется добавление следующих возможностей:

• система управления вычислительными профилями пользователей (одно вычисление на одном сервере с полным или частичным использованием ресурсов);
• система учёта ресурсов и управления бюджетом вычислений;
• мониторинг активности сессий и проектов пользователей и общей производительности;
• интеграция с GitLab с возможностью сохранять все исследования и их промежуточные версии в общий репозиторий и получать предыдущую версию исследований одним нажатием;
• конфигуратор предустановленных библиотек ML и их версий;
• CPU и GPU вычисления по запросу с оплатой только фактически затраченных ресурсов;
• кластерные вычисления на Spark по запросу с оплатой только фактически затраченных ресурсов.

В случае выбора облака Техносерв Cloud, которое обладает полным набором сертификации в области безопасности информационных систем и защищенности персональной информации, данные будут храниться и обрабатываться на территории России.

Мировой тренд указывает на то, что у подобных сервисов отличное будущее, в котором будут участвовать компании с мировым именем. При этом за рубежом уже активно используют облачные сервисы, несмотря на достаточно жесткие требования GDPR – регламента по защите персональных данных. Георгий Шатиров, директор центра компетенций Больших Данных компании «Техносерв»

При разработке прототипа мы проанализировали опыт зарубежных конкурентов, провели интервью с представителями бизнеса и ИТ различных индустрий. Анализ показал, что для подготовки простого и удобного в использовании продукта нам потребуется доработка части доступных open-source-решений, включая глубокое погружение в Kubernetes и Docker для виртуализации вычислений. Направление и используемые технологии очень интересны и востребованы, и мы приглашаем в наш стартап как профессионалов своего дела, так и горящих энтузиастов в направлении DevOps, Full-stack-разработки, продуктового анализа. Тимур Мишин, руководитель продуктового направления центра компетенций Больших Данных компании «Техносерв»