Data Engineer

«Северсталь-инфоком» сегодня это:

• 33 года опыта IT экспертизы;
• 20 городов присутствия по России;
• более 2200 сотрудников;
• более 200 предоставляемых сервисов.

Чем Вы будете заниматься:

• ​​​​​​​содействовать в разработке архитектуры масштабируемой платформы обработки и интеграции данных;
• анализировать требования (взаимодействие с архитекторами направлений, владельцами продуктов, функциональными командами смежных интегрируемых систем);
• проектировать, разрабатывать и поддерживать ETL-процессы (Apache NiFi, Apache Airflow);
• реализовывать компоненты платформы, связанные с обработкой данных;
• реализация распределенные алгоритмов;
• интегрировать данные между внешними системами;
• формировать и обрабатывать большие наборы данных;
• осуществлять загрузку данных из различных источников и организовывать хранение данных в Apache Kafka (потоковая и пакетная);
• сопровождать системы ETL-окружения.

Технологический стек:

• интеграция и обработка данных: Apache Nifi, Apache Airflow, Apache Kafka REST proxy
• хранение и распределение данных: Apache Kafka
• мониторинг: Grafana, Prometheus
• прочие технологии и фреймворки: Docker, Kubernetes (Openshift), ScalaTest, Debezium, Redis
• СУБД – PostgreSQL, Greenplum, Oracle, SQL Server
• CI/CD – GitLab
• RESTfull, SOAP, JDBC, AMQP, Groovy
• языки программирования: Python, Scala

Мы ожидаем, что Вы:

• обладаете опытом от 2-х лет в области инженерии данных;
• обладаете профильным образованием: информационные технологии, статистика, математика;
• обладаете опытом разработки на Python или Scala или Java;
• обладаете знаниями архитектуры данных, особенностей и проблем реализации различных алгоритмов обработки данных;
• имеется опыт работы в IT команде

Будет плюсом

• опыт работы от 2-х лет с Apache Spark, Apache Flink, Apache Airflow;
• java, Groov;
• опыт работы с распределенными БД PostgreSQL, Oracle;
• глубокое понимание архитектуры стека Apache Spark, Apache Flink, Apache Nifi, Apache Airflow, Apache Kafka;
• интерес к технологиям Data Science, Data engineering, Big Data

Мы предлагаем:

• трудоустройство в аккредитованной IT-компании и возможность пользоваться соответствующими льготами: 1. льготная ипотека; 2. отсрочка от призыва на военную службу для военнообязанных.
• медицинскую помощь сотрудников: ДМС (включая стоматологию), доплату по больничному листу (с 1 по 10 день – 100% до оклада, с 11 по 20 день – 50%);
• опции для родителей: материальную помощь за рождение ребёнка, доплату до 100% за отпуск по беременности и родам;
• корпоративную мобильную связь и скидки от наших партнёров.