💻 Представлен выпуск СУБД DuckDB 1.4.0

🔍 Обучающие курсы на платформе Stepik

Состоялся релиз открытого проекта СУБД DuckDB 1.4.0, позиционируемой как вариант SQLite для аналитических запросов.

DuckDB сочетает такие свойства SQLite, как компактность, возможность подключения в форме встраиваемой библиотеки, хранение БД в одном файле и удобный CLI‑интерфейс, со средствами и оптимизациями для выполнения аналитических запросов, охватывающих значительную часть хранимых данных, например, выполняющих агрегирование всего содержимого таблиц или слияние нескольких больших таблиц.

Исходный код проекта написан на языке С++ и распространяется под лицензией MIT. Выпуск СУБД DuckDB 1.0 произошёл в июне 2024 года.По информации OpenNET, решение DuckDB предоставляетрасширенный диалект языкаSQL, включающий дополнительные возможности для обработки очень сложных и длительно выполняемых запросов.

Возможно использование сложных типов (массивы, структуры, объединения), а также выполнение произвольных и вложенных коррелирующих подзапросов.

Поддерживается одновременное выполнение нескольких запросов, выполнение запросов напрямую из файлов в форматах CSV и Parquet.Доступна поддержка импорта из СУБД PostgreSQL.

В проекте DuckDB используется оболочка из SQLite, парсер из PostgreSQL, компонент Date Math из MonetDB, своя реализация оконных функций (на базе алгоритма Segment Tree Aggregation), обработчик регулярных выражений на основе библиотеки RE2, собственный оптимизатор запросов, MVCC‑механизм управления одновременным выполнением заданий (Multi‑Version Concurrency Control), а также векторизованный движок выполнения запросов на базе алгоритма Hyper‑Pipelining Query Execution, позволяющий в одной операции разом обрабатывать большие наборы значений.

📖 Основные изменения и доработки в СУБД DuckDB 1.4.0:

добавлена поддержка хранения файлов БД в зашифрованном виде. Для шифрования используется алгоритм AES-256 в режиме GCM. Шифруется не только основной файл с данными, но и WAL‑логи и временные файлы. Ключи для шифрования БД задаются командой ATTACH через параметр ENCRYPTION_KEY;
добавлена поддержка команды «MERGE INTO», которая может применяться как альтернатива выражению «INSERT... ON CONFLICT», не требующая первичного ключа и работающая с произвольными условиями слияния. Команда «MERGE INTO» позволяет создавать условные SQL‑выражения, объединяющие в одном выражении операции INSERT, UPDATE и DELETE. Например, при помощи MERGE можно организовать слияние двух таблиц, вставляя недостающие записи и обновляя существующие;
в дополнение для работы с таблицами в формате Apache Iceberg добавлена поддержка операций записи (ранее поддерживалось только чтение), что позволяет переносить данные из Iceberg в DuckDB и обратно;
в клиент командной строки добавлен индикатор прогресса выполнения операции с прогнозированием времени, оставшегося до завершения;
добавлена оконная функция «FILL», которую можно использовать для интерполяции пропущенных значений в упорядоченных окнах;
реализовано дополнение Teradata Connector для подключения к базам данных Teradata. Дополнение позволяет манипулировать таблицами, выполнять запросы и запускать SQL‑команды напрямую в Teradata, используя DuckDB;
добавлена поддержка фиксации состояния (checkpoint) таблиц, хранимых в памяти, что позволило реализовать поддержку сжатия. Кроме того, при фиксации состояния выполняется чистка удалённых строк и высвобождение места после операций удаления;
предложено несколько оптимизаций производительности: реализация сортировки переведена на использование алгоритма многопутевого слияния (k‑way merge sort), сокращающего перемещение данных. Обобщённые табличные выражения (Common Table Expression, CTE) теперь материализуются по умолчанию.

📖 Ссылка на материал

❂ Полезные ссылочки: Telegram Канал | ВК Группа

❂ Хижина программиста: Rutube | YouTube | Plvideo