
Если упростить, в Databricks с таблицами Unity Catalog работаюют двумя принципиально разными способами. Streaming Tables и Materialized Views - принадлежат пайплайну . Схема таблицы наследуется из SQL запроса, а создаёт и обновляет её сам пайплайн. Для такой жизни у Databricks есть всё: SDP (до недавнего времени DLT), сам пайплайн лежит в git, выкатывается через Declarative Automation Bundles (бывшие Databrick Asset Bundles) на нужную среду, попутно проходя ревью и CI/CD. Второе большое множество - это обычные таблицы , managed и external. У такой таблицы есть собственное определение: колонки, типы, комментарии, кластеризация. Ее создают отдельно через DDL-скрипт. Писать в неё может кто угодно - джобы, пайплайны, ноутбуки - да хоть просто в SQL-редакторе выполни INSERT (не является рекомнедацией). В списке ресурсов DAB такой таблицы нет (и скорее всего не предвидится в ближайшее время, так как весь мир ииб*улся занят ИИ-гонкой и релизит связаные с этим фичи). Поэтому на каждом проекте команде для них приходится придумывать что-то своё. Я устал от этого и написал open source утилиту ucat : определения таблиц в YAML в git, команды plan и apply для деплоя. Кому интересно - велкам под кат ===>
Continue to Habr →You are being forwarded in 6s — stay on this page