Разработчики: | Databricks |
Технологии: | BI, СУБД |
Главный управляющий: Йон Стоика (Ion Stoica)
Одним из самых значительных успехов на арене «больших данных» был выпуск Apache Spark в мае 2014 года. Это механизм обработки-в-памяти с открытым кодом, превосходящий платформу Hadoop по производительности аналитики данных[1].
Компания Databricks была создана несколькими разработчиками Spark и в июне 2014 года предложила платформу Databricks Cloud, построенную на данной технологии. Эта хостинговая платформа, которая проходит бета-тестирование, упрощает развертывание и предоставление Spark и поставляется с набором встроенных приложений для сбора и анализа данных. Организация может, к примеру, использовать Databricks Cloud, чтобы быстро обрабатывать и анализировать данные, хранимые в Amazon S3.
Databricks имеет отношение к Apache Spark, однако компания в значительной степени модифицировала фреймворк, снабдив его более высоким уровнем абстракции API и более быстрой обработкой данных в памяти (in-memory processing), поэтому он не только дополняет возможности «традиционного» Hadoop, но и может выступать его заменой. Модификация Databricks — Delta Lake — это полностью управляемая Open Source-версия Spark, которая работает в облаке и поставляется с несколькими проприетарными расширениями[2].
Delta Lake — чисто облачный проект, который применяется рядом крупных клиентов по всему миру. По словам одного из создателей Apache Spark и технического директора Databricks Матея Захарии, клиенты мигрируют со Spark на платформу Databricks по разным причинам, но часто это продиктовано требованиями бизнеса, который все чаше ориентируется на работу с облачными сервисами. Желание клиентов связать озера данных, которые находятся как в облачном, так и в локальном хранилище, и стало для компании побудительным мотивом к созданию решения для обеспечения их надежности.
«Озеро данных сегодня есть почти у каждой компании. Они пытаются добыть из него информацию, но ее ценность и надежность часто вызывает сомнения. Delta Lake устраняет эти проблемы — об этом говорит интерес к этому решению сотен предприятий. Учитывая, что Delta Lake обладает открытым кодом, разработчики смогут беспрепятственно создавать надежные озера данных», — сказал соучредитель и генеральный директор Databricks Али Годси. |
Он также пояснил, что из себя представляют «Delta-озера данных» и какие типы файловых систем и данных они поддерживают. «Delta Lake располагается поверх вашей СХД (но не заменяет ее) и предлагает транзакционный уровень хранения как в формате HDFS, так и в формате BLOB-объектов Azure, хранящихся в облачном хранилище, к примеру, S3. Пользователи могут скачать Delta Lake и совмещать его с HDFS в онпремис-варианте. Они также могут считывать данные из любой системы хранения, которая поддерживает источники данных Apache Spark, и записывать в Parquet — формат хранения, который понимает Delta Lake», — сказал Годси.Создание корпоративного хранилища данных на Arenadata DB. Кейс ПСБ
Databricks отдала предпочтение Apache Parquet, потому что этот колоночно-ориентированный (столбцовый) формат хранения данных изначально создавался для экосистемы Hadoop и не зависит от выбора среды обработки данных. Delta Lake выступает в качестве слоя поверх поддерживаемых форматов хранения данных.
Примечания
Подрядчики-лидеры по количеству проектов
Прогноз (250)
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
RBC Group Украина (124)
БизнесАвтоматика НПЦ (117)
Консультационная группа АТК (100)
Другие (2464)
Сапиенс солюшнс (Sapiens solutions) (9)
Форсайт (8)
Navicon (Навикон) (7)
Корус Консалтинг (6)
Доверенная среда (5)
Другие (98)
БизнесАвтоматика НПЦ (13)
Форсайт (8)
ФТО (5)
Manzana Group (М Софт) (4)
Optimacros (Оптимакрос) (3)
Другие (71)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Qlik (QlikTech) (59, 464)
Форсайт (19, 332)
SAP SE (70, 301)
Oracle (65, 267)
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
Другие (1092, 1545)
SAP SE (6, 13)
Qlik (QlikTech) (2, 8)
Форсайт (2, 8)
Microsoft (2, 6)
Доверенная среда (1, 5)
Другие (46, 72)
БизнесАвтоматика НПЦ (1, 13)
Форсайт (3, 8)
Optimacros (Оптимакрос) (1, 6)
Microsoft (1, 5)
Manzana Group (М Софт) (3, 4)
Другие (38, 47)
Optimacros (Оптимакрос) (1, 10)
Форсайт (2, 8)
БизнесАвтоматика НПЦ (1, 7)
Инфомаксимум (Infomaximum) (1, 6)
Analytic Workspace (ОСТ) (2, 5)
Другие (34, 52)
Optimacros (Оптимакрос) (1, 5)
Simetra (ранее А+С Транспроект) (1, 4)
Manzana Group (М Софт) (1, 2)
PIX Robotics (Пикс Роботикс) (1, 2)
БизнесАвтоматика НПЦ (1, 2)
Другие (17, 16)
Распределение систем по количеству проектов, не включая партнерские решения
QlikView - 370
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 318
Deductor - 226
Visary BI Платформа бизнес-аналитики - 117
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 101
Другие 1951
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7
Qlik Sense - 6
Microsoft Power BI - 5
Доверенная среда: Триафлай BI-платформа - 5
Другие 84
Visary BI Платформа бизнес-аналитики - 13
Optimacros Платформа для оптимизационного и консолидационного планирования - 6
Microsoft Power BI - 5
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 5
Qlik Sense - 4
Другие 49
Подрядчики-лидеры по количеству проектов
SAP CIS (САП СНГ) (38)
Softline (Софтлайн) (35)
РДТЕХ (32)
BeringPro (БерингПойнт) ранее BearingPoint Russia (28)
ФОРС - Центр разработки (25)
Другие (710)
Сапиенс солюшнс (Sapiens solutions) (7)
BeringPro (БерингПойнт) ранее BearingPoint Russia (3)
Navicon (Навикон) (3)
Крок (2)
Softline (Софтлайн) (2)
Другие (35)
Айтеко (Ай-Теко, iTeco) (1)
Астерос (1)
Атомдата (Atomdata) (1)
Группа Борлас (Borlas) (1)
Диасофт (Diasoft) (1)
Другие (20)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Oracle (44, 179)
SAP SE (6, 175)
Microsoft (23, 142)
PostgreSQL Global Development Group (14, 122)
Постгрес профессиональный (ППГ, Postgres Professional) (6, 39)
Другие (253, 212)
SAP SE (3, 11)
Microsoft (3, 11)
PostgreSQL Global Development Group (3, 10)
Oracle (2, 4)
Постгрес профессиональный (ППГ, Postgres Professional) (2, 3)
Другие (10, 13)
PostgreSQL Global Development Group (4, 9)
Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (2, 3)
Arenadata (Аренадата Софтвер) (3, 2)
Oracle (2, 2)
Другие (9, 9)
PostgreSQL Global Development Group (3, 13)
Постгрес профессиональный (ППГ, Postgres Professional) (1, 6)
Arenadata (Аренадата Софтвер) (3, 5)
Apache Software Foundation (ASF) (3, 4)
Тантор Лабс (Tantor Labs) (2, 3)
Другие (8, 10)
PostgreSQL Global Development Group (4, 9)
Постгрес профессиональный (ППГ, Postgres Professional) (2, 4)
Диасофт (Diasoft) (1, 1)
Arenadata (Аренадата Софтвер) (1, 1)
VMware (1, 1)
Другие (0, 0)
Распределение систем по количеству проектов, не включая партнерские решения
Oracle Database - 106
Microsoft SQL Server - 104
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 101
PostgreSQL СУБД - 78
SAP HANA (High Performance Analytic Appliance) - 71
Другие 355
Microsoft SQL Server - 9
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
PostgreSQL СУБД - 7
Oracle Database - 3
SAP HANA (High Performance Analytic Appliance) - 3
Другие 21
Postgres Pro СУБД - 5
ADB - Arenadata DB - 2
PostgreSQL СУБД - 2
Oracle Database - 2
Tarantool Платформа in‑memory вычислений - 2
Другие 13
Postgres Pro СУБД - 6
PostgreSQL СУБД - 4
Tantor СУБД - 3
ADB - Arenadata DB - 3
ClickHouse - система управления базами данных (СУБД) - 2
Другие 10
PostgreSQL СУБД - 4
Postgres Pro СУБД - 3
Diasoft Digital Q.Database - 1
VMware Tanzu Greenplum - 1
Postgres Pro Enterprise - 1
Другие 1