В Tarantool SQL и NoSQL (box) - это не два разных движка, а две двери в одно и то же хранилище. Таблица, созданная через CREATE TABLE, физически живет как обычный space с tree-индексом; SQL-выражение в итоге превращается в те же низкоуровневые операции над спейсами, что и box.space:insert. Этот урок про шов между мирами: как байт-код подготовленного выражения кэшируется и переиспользуется, как SQL-транзакция отображается на транзакционный движок box, и как код перетекает из SQL в Lua и обратно.
Механика: как устроено внутриГлавная идея урока: SQL в Tarantool - это тонкий слой над тем же транзакционным и индексным движком, что и box. Понимая, во что транслируется SQL, вы перестаете воспринимать prepared statements и транзакции как магию.
Путь SQL-запроса. Когда вы вызываете box.execute([[SELECT ...]]), строка проходит парсер, превращается в дерево, а затем компилируется в байт-код виртуальной машины (VDBE - наследие SQLite, на котором исторически построен SQL-фронтенд Tarantool). Этот байт-код исполняется опкод за опкодом, а операции чтения/записи обращаются к тем же memtx/vinyl спейсам, что и NoSQL. Компиляция стоит заметного времени, поэтому для часто повторяемых запросов ее имеет смысл выполнить один раз.
Подготовленные выражения. box.prepare(sql) делает именно это: компилирует строку в байт-код и кладет его в кэш. Возвращается prepared_table со следующими полями:
- stmt_id - идентификатор, это хэш от текста запроса (важное следствие ниже);
- execute - функция исполнения;
- unprepare - функция освобождения;
- params, param_count - описание плейсхолдеров;
- metadata - присутствует только для SELECT и PRAGMA (описание колонок результата).
Транзакции. SQL-операторы START TRANSACTION / COMMIT / ROLLBACK / SAVEPOINT / RELEASE SAVEPOINT - это синонимы box.begin / box.commit / box.rollback / box.savepoint / box.rollback_to_savepoint. Они управляют одним и тем же транзакционным контекстом файбера. Вне явной транзакции каждый box.execute с изменением данных авто-коммитится. Ограничения наследуются от движка: в memtx yield (переключение файбера, в том числе сетевой вызов) внутри активной транзакции откатывает ее; в vinyl yield разрешен. Поэтому держать транзакцию надо коротко.
Взаимодействие SQL-фронтенда, box и Lua
Ключевые команды и код
Подготовка, плейсхолдеры, исполнение. Плейсхолдер - это либо знак вопроса (позиционный), либо двоеточие с именем (именованный). Параметры передаются вторым аргументом - таблицей.
Код: Выделить всё
box.cfg{}
box.execute([[CREATE TABLE users (id INTEGER PRIMARY KEY, name STRING);]])
-- позиционные плейсхолдеры
local p = box.prepare([[INSERT INTO users VALUES (?, ?);]])
p:execute({1, 'Alice'})
p:execute({2, 'Bob'})
-- именованные плейсхолдеры
local q = box.prepare([[SELECT name FROM users WHERE id = :uid;]])
local res = q:execute({{[':uid'] = 1}})
-- res.metadata - описание колонок, res.rows - данные
p:unprepare() -- то же, что box.unprepare(p.stmt_id), аналог DEALLOCATE PREPARE
q:unprepare()
Транзакция средствами SQL и box.
Код: Выделить всё
-- стиль SQL
box.execute([[START TRANSACTION;]])
box.execute([[INSERT INTO users VALUES (3, 'Carol');]])
box.execute([[SAVEPOINT s1;]])
box.execute([[INSERT INTO users VALUES (4, 'Dave');]])
box.execute([[ROLLBACK TO SAVEPOINT s1;]]) -- откатит только Dave
box.execute([[COMMIT;]])
-- эквивалент через box (тот же контекст)
box.begin()
box.execute([[INSERT INTO users VALUES (5, 'Eve');]])
box.commit()
Код: Выделить всё
box.schema.func.create('ADD_TAX', {
language = 'LUA',
returns = 'double',
param_list = {'double'},
exports = {'LUA', 'SQL'},
is_deterministic = true,
body = [[function(price) return price * 1.2 end]]})
box.execute([[SELECT ADD_TAX(100.0);]])
-- быстрый одноразовый код без функции:
box.execute([[SELECT lua('return os.time()');]])
- Prepared statement живет вечно. Нет. Любой DDL (CREATE/DROP/ALTER любого объекта) инвалидирует ВСЕ подготовленные выражения инстанса - даже если этот объект в запросе не упоминается, даже если DDL был откатан, даже если его сделала другая сессия. После такого execute по старому stmt_id вернет ошибку - надо готовить заново.
- Регистр идентификаторов. SQL приводит обычные (без кавычек) идентификаторы к ВЕРХНЕМУ регистру. CREATE TABLE things создает space THINGS, и из Lua он виден как box.space.THINGS. Функция _decode из SQL вызовется как _DECODE. Чтобы сохранить регистр, нужны "кавычки".
- Lua nil, box.NULL и SQL NULL - одно и то же. lua('return box.NULL') IS NOT NULL вернет FALSE.
- Рекурсивный доступ к спейсу. Если SQL-запрос вызывает Lua-функцию (или lua()), которая трогает space, лежащий под таблицей этого же запроса, можно получить зависание или бесконечный цикл. Не пишите SELECT f() FROM test, если f() сама пишет в TEST.
- Yield в memtx-транзакции. Сетевой вызов, явный fiber.yield или долгая операция внутри START TRANSACTION на memtx откатят транзакцию. Держите транзакции короткими и без внешних обращений.
- Конкатенация вместо плейсхолдеров. Склеивать значения в строку запроса (как в примере million-row insert из доков) - медленно и опасно (инъекции, нет переиспользования байт-кода). Используйте плейсхолдеры и/или prepare.
- Чужой stmt_id. Кэш общий, но stmt_id, подготовленный в другой сессии, в вашей не исполнится.
- Создайте таблицу goods (id INTEGER PRIMARY KEY, price DOUBLE). Подготовьте через box.prepare INSERT с именованным плейсхолдером :p, вставьте 3 строки одним и тем же prepared-объектом. Затем зарегистрируйте Lua-функцию WITH_VAT(price) -> price*1.2 (exports LUA+SQL) и выполните SELECT id, WITH_VAT(price) FROM goods. После этого выполните любой DDL (например CREATE TABLE tmp(id INTEGER PRIMARY KEY)) и попробуйте снова p:execute - убедитесь, что prepared-выражение инвалидировалось, и пересоздайте его.
- Что физически делает box.prepare и почему он ускоряет повторное исполнение? Из чего складывается stmt_id?
- Какие события инвалидируют все подготовленные выражения инстанса и почему это происходит даже для не упомянутого в запросе объекта?
- Почему START TRANSACTION и box.begin - это одно и то же, и что произойдет при yield внутри транзакции на движке memtx против vinyl?
- В чем разница между регистрацией функции через box.schema.func.create с exports={'LUA','SQL'} и вызовом lua('return ...') прямо в SELECT? Когда что уместно?