Data engineer

Задачи:

- Разработка единой высоконагруженной, масштабируемой системы сбора, обработки и анализа данных.
- Выбор Big Data инструментов и методологий для реализации ETL-процессов, разработка и внедрение ETL-процессов (согласно мировым best practices).
- Участие в принятии архитектурных решений, проектировании логической и физической моделей данных.
- Настройка автоматизированного мониторинга компонентов, сервисов и серверов, поддержка работоспособности разработанной системы.
- Проактивное устранение критических ситуаций, своевременная подготовка к увеличению нагрузок.
- Оптимизация, апгрейд и поддержка имеющихся ETL-процессов.
- Доработка и поддержка существующих моделей данных.

Требования:
- Опыт работы с различными СУБД (как классическими - MySQL, PostgreSQL, так и колоночными - Vertica, ClickHouse и т.д.).
- Опыт работы с распределенными СУБД.
- Экспертные знания SQL (оптимизация производительности).
- Глубокое понимание принципов отказоустойчивости, высокой загруженности, ACID, масштабирования приложений и потоков данных.
- Опыт администрирования высоконагруженных хранилищ и обработчиков больших данных.
- Понимание архитектуры хранилищ данных, опыт проектирования логической и физической моделей данных.
- Опыт проектирования архитектуры, разработка и сопровождение ETL и BI решений.
- Знание Bash и операционных систем семейства Linux на уровне системного администратора.
- Опыт создания систем потоковой обработки.

Будет плюсом:
- Знание профильного языка программирования (Python, Java и т.д.).
- Опыт работы с NoSQL базами данных (MongoDB).
- Опыт работы с различными системами обмена сообщениями (Kafka RabbitMQ).
- Опыт работы с Vertica, ClickHouse.

Будем рады предложить:

  • Неформальная атмосфера в команде, честный прозрачный фидбэк;
  • Дизайнерский новый офис в центре города с шаговой доступностью от метро;
  • Адекватный уровень з/п с гарантией стабильности от потрясений рынка;
  • Оплата/ помощь в оплате повышения профессионального скилла (конференции, митапы, курсы);
  • Курсы английского языка за счет компании в офисе;
  • Медицинская страховка;
  • Корпоративные мероприятия и тимбилдинги;
  • Консультации юриста по личным вопросам;
  • Чай, кофе, сладости, фрукты, творожки, также в наличии кухня со всем необходимым для питания (микроволновая печь, холодильники, кулеры, кофе-машина).
ОТКЛИКНУТЬСЯ