Система хранения данных Сбера

Как выяснил TAdviser, Сбербанк разрабатывает собственную СХД. Информация об этом содержится в ряде вакансий Сбербанка, опубликованных в октябре 2023 года на его сайте и на рекрутинговом портале HH. Речь идёт о «распределённой, отказоустойчивой, высоконагруженной программно-определяемой СХД».

Проект собственной системы хранения данных для Сбербанка – это амбициозная задача по созданию СХД из лучших мировых практик. Сложность уровня Big Enterprise, масштабируемость уровня Google, скорость на уровне современных суперкомпьютеров, – говорится в описании проекта по разработке.

Там же, в вакансиях, указано, что проект абсолютно новый, с полным отсутствием legacy, и полностью обеспечен «современным высокотехнологическим железом».

В Сбербанке ведётся амбициозный проект по созданию СХД «из лучших мировых практик» (фото: Вячеслав Прокофьев / ТАСС)

В обязанности разработчика С/C++, в частности, которого Сбербанк подыскивал под проект, входит разработка СХД, проектирование и разработка протоколов взаимодействия узлов кластера между собой, написание модулей СХД и вспомогательного ПО (мониторинг, автотесты и проч.), а также написание кода в ultra low latency стиле, с микросекундными задержками^[1].

В Сбербанке предпочли не раскрывать детали этого проекта, в том числе, какое «железо» в нём применяется.

Не исключено, что в проекте может использоваться «железо» и экспертиза компании «Элпитех», которую в конце 2022 года приобрела ООО «Салютдевайсы» (до мая 2022-го она называлась «Сбердевайсы», SberDevices). Портфель «Элпитех» включает в себя, том числе, серверы, СХД. На сайте компании говорится, что одно из её продуктовых направлений – разработка и производство универсального и «блейд» серверов собственной торговой марки для применения в создании высокопроизводительных вычислительных кластеров, а также заявлены услуги в области HPC. В её команде присутствуют бывшие инженеры и архитекторы обанкротившегося производителя суперкомпьютеров «Т-Платформы», и возглавляет её выходец из «Т-Платформы» – Александр Грищенков. Александр Краснов, «Штурвал»: Делая настоящий Kubernetes для Enterprise, мы к тому же создали продукт для инженерного сообщества 3.5 т

Правда, в январе 2023 года в Сбербанке заявляли изданию CNews, что SberDevices больше не входит в группу Сбербанка в результате некой сделки^[2]. Вместе с тем, в вакансиях банка сейчас можно видеть набор персонала в SberDevices – «департамент SberDevices в Сбербанке»^[3]. И интернет-магазин ООО «Салютдевайсы» по состоянию на октябрь 2023 года продолжает работать под брендом SberDevices.

Сейчас в Сбербанке применяется широкий портфель высокопроизводительных СХД зарубежных производителей. От главного эксперта СХД для стека HPC в подразделении SberInfra, обеспечивающем базис инфраструктурного развития экосистемы банка, требуется опыт работы с вендорскими решениями Dell EMC, NetApp, Huawei, Hitachi, HPE, Pure Storage^[4]. При этом Сбербанк заинтересован в поиске перспективных решений и разработок в области СХД.

Отметим, что в Сбербанке уже не первый год ведётся много собственных разработок в области хранения и обработки данных. Одна из наиболее известных – SberData Platform (SDP), которая представляет собой набор интегрированных сервисов работы с данными^[5]. По заявлению разработчиков, она позволяет упростить развертывание и настройку сервисов работы с данными, сократить время на создание решений для работы с большими данными. В основе платформы – собственные разработки, а также инструменты на основе свободно распространяемого ПО.

Также, к примеру, банк ведёт разработку собственных СУБД с использованием различных open source технологий. Одна из них – собственная сборка Сбербанка на базе Greenplum. Перед командой стояли амбициозные цели построить «уникальную в мировом масштабе инфраструктуру по хранению и обработке данных» на основе этой СУБД. Отличительная особенность собственной сборки – возможность обработки огромных массивов данных объёмом более 1 ПБ одновременно большим количеством пользователей.

Примечания