Data Engineer

В команду разработки ищем Data Engineer-а на проекты по развитию аналитической инфраструктуры Halyk Market, который поможет выстроить, оптимизировать и развивать аналитическую инфраструктуру данных в компании. Кандидат будет отвечать за проектирование и реализацию надежных и масштабируемых систем для обработки данных, интеграцию новых источников данных, а также за обеспечение высокой доступности и производительности данных.

Чем предстоит заниматься:
- Работать с большими объемами данных, разрабатывать и поддерживать ETL-процессы, создавать отчеты и аналитические панели для различных бизнес-подразделений
- Создание и сопровождение конфигурации для систем DWH.
- Сопровождение CI/CD (Gitlab-CI).
- Взаимодействие с командами разработки.
- Создание и сопровождение кластеров Kafka, Airflow, Spark, Clickhouse, JupiterLab, а также сервисов экосистемы DWH.

Кого ищем:
- Опыт работы с инфраструктурными компонентами Kafka, Zookeeper обязателен.
Знание Apache Airflow будет плюсом.
- Опыт написания скриптов на Python и Bash.
- Опыт работы с CI/CD-инструментами и настройкой процессов сборки и доставки кода приложений — Gitlab.
- Умение и желание доводить задачу до логического конца.

Условия:

Оформление согласно ТК РК, 30 календарных дней отпуска.