Header: Инженер данных в команду статистики Яндекс.Маркета
Description: Команда статистики разрабатывает витрины данных для аналитики Маркета: глубокого анализа многомерных данных, формирования дашбордов с визуализацией процессов, построения графиков KPI. Уже сейчас мы оперируем петабайтами данных в каждом из двух дата-центров, и объемы информации растут кратно из года в год. 
  У нас повышенные требования к стабильности, масштабируемости, эффективности и простоте продуктов. Нашими витринами пользуются разработчики, аналитики и менеджеры Яндекса.
Requirements: • уверенно знаете Python
  • знаете SQL или другие языки запросов
  • умеете работать в командной строке Linux, macOS
Tasks: • проектировать хранилище данных по модели Data Vault
  • создавать эффективные ELT-процессы со сбором данных из различных систем Маркета с заданной периодичностью 
  • создавать и развивать витрины данных как продукт, алгоритмически подготавливая данные для их последующего анализа средствами BI, SQL, Jupyter
Pluses: • знаете технологии распределенной обработки данных (Hadoop, MapReduce, Hive, Spark, ClickHouse, GreenPlum, Vertica)
  • имеете опыт обработки данных на Python (PySpark, pandas и т. п.) или другом языке
  • имеете опыт проектирования DWH (DFM, Data Vault, Anchor) или Data Lake
  • имеете опыт промышленной разработки на Python, Java или C++
Hashtags: #инфраструктура #python #маркет
Raw text: Инженер данных в команду статистики Яндекс.Маркета🛍
  
  Команда статистики разрабатывает витрины данных для аналитики Маркета: глубокого анализа многомерных данных, формирования дашбордов с визуализацией процессов, построения графиков KPI. Уже сейчас мы оперируем петабайтами данных в каждом из двух дата-центров, и объемы информации растут кратно из года в год. 
  У нас повышенные требования к стабильности, масштабируемости, эффективности и простоте продуктов. Нашими витринами пользуются разработчики, аналитики и менеджеры Яндекса.
  
  Мы ждем, что вы:
  • уверенно знаете Python
  • знаете SQL или другие языки запросов
  • умеете работать в командной строке Linux, macOS
  
  Что нужно делать:
  • проектировать хранилище данных по модели Data Vault
  • создавать эффективные ELT-процессы со сбором данных из различных систем Маркета с заданной периодичностью 
  • создавать и развивать витрины данных как продукт, алгоритмически подготавливая данные для их последующего анализа средствами BI, SQL, Jupyter
  
  Будет плюсом, если вы:
  • знаете технологии распределенной обработки данных (Hadoop, MapReduce, Hive, Spark, ClickHouse, GreenPlum, Vertica)
  • имеете опыт обработки данных на Python (PySpark, pandas и т. п.) или другом языке
  • имеете опыт проектирования DWH (DFM, Data Vault, Anchor) или Data Lake
  • имеете опыт промышленной разработки на Python, Java или C++
  
  https://ya.cc/t/tmtMEL8HWTHqZ
  
  #инфраструктура #python #маркет