Сколько строк в секунду способен проверить инструмент контроля качества данных? На первый взгляд, это простой вопрос. Берём набор данных, запускаем проверки, делим число строк на время и получаем показатель, который можно поставить рядом с результатами других продуктов. Но довольно быстро выясняется, что за словом «проверка» могут скрываться совершенно разные вычисления. В одном случае система считает долю пустых значений в колонке. В другом — проверяет контрольное число ИНН. В третьем — обходит вложенный массив, вычисляет производные значения, выполняет несколько ветвлений и формирует результат для отдельного объекта. Мы провели нагрузочные тесты Arenadata Catalog DQF (ADC.DQF) и получили до 30 тысяч исполнений простого правила (проверки ИНН) в секунду при лимите в два CPU на сервис исполнения правил. Более сложные алгоритмы выполнялись от трёх до девяти тысяч раз в секунду. Однако сами по себе эти цифры мало что говорят, пока не ясно, что делает правило и что входило в замер. Привет, Хабр! Меня зовут Юрий Горынцев, руководитель группы в отделе разработки модуля качества данных. В этой статье разберём, что именно мы считали одной проверкой, как измеряли производительность Сервиса исполнения правил (СИП) и что ограничивало остальные компоненты. А затем сопоставим модель исполнения DQF с GreatExpectations , Soda и Deequ — без попытки объявить победителя по несопоставимым бенчмаркам. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page