Инженер сменил команду, его права доступа обновили — и ночной пайплайн перестал работать. В Netflix эта проблема возникала на масштабе миллионов таблиц и десятков тысяч задач. Чтобы не чинить доступ после каждой перестановки в командах, в компании создали Data Projects: связанные данные и процессы объединяют в проект, а задачи запускаются от его имени. Я подумал, что тема острая, поэтому перевел разбор команды Netflix — про права, технические учетные записи и миграцию существующих процессов. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page