Header: Разработчик в Яндекс Go
Description: Сервисы Яндекса порождают сотни и тысячи петабайт данных. Хранят и обрабатывают эти данные кластеры из десятков тысяч машин под управлением YT.
  В прошлом году мы подключили к YT Apache Spark — популярную opensource-технологию для обработки больших данных. Нам удалось объединить преимущества YT и Spark, получить хорошие результаты и порадовать потребителей — десятки инженеров данных из различных подразделений Яндекса.
Requirements: • уверенно разрабатываете на Scala или Python
  • готовы учить другие языки
  • понимаете принципы работы распределенных систем, обработки больших данных, парадигму MapReduce и ее наследников
Tasks: • прокачивать Spark, глубоко погружаться в его работу
  • интегрировать YT и Spark
  • писать много хардкорного кода на Scala и Python
  • иногда писать что-то нестрашное на C++ и Java
Pluses: • работали с Apache Spark
  • знаете C++ или Java
  • хорошо знаете Hadoop Stack (особенно HDFS, YARN)
  • работали с Docker и системами оркестрации (Kubernetes, Rancher)
Hashtags: #spark #scala #python #CPP #java #mapreduce #hadoop #docker #kubernetes #rancher
Raw text: Разработчик в Яндекс Go💻
  
  Сервисы Яндекса порождают сотни и тысячи петабайт данных. Хранят и обрабатывают эти данные кластеры из десятков тысяч машин под управлением YT.
  В прошлом году мы подключили к YT Apache Spark — популярную opensource-технологию для обработки больших данных. Нам удалось объединить преимущества YT и Spark, получить хорошие результаты и порадовать потребителей — десятки инженеров данных из различных подразделений Яндекса.
  
  Мы ждем, что вы:
  • уверенно разрабатываете на Scala или Python
  • готовы учить другие языки
  • понимаете принципы работы распределенных систем, обработки больших данных, парадигму MapReduce и ее наследников
  
  Что нужно делать:
  • прокачивать Spark, глубоко погружаться в его работу
  • интегрировать YT и Spark
  • писать много хардкорного кода на Scala и Python
  • иногда писать что-то нестрашное на C++ и Java
  
  Будет плюсом, если вы:
  • работали с Apache Spark
  • знаете C++ или Java
  • хорошо знаете Hadoop Stack (особенно HDFS, YARN)
  • работали с Docker и системами оркестрации (Kubernetes, Rancher)
  
  https://ya.cc/t/IFwtZ5RDn4Gif
  
  #spark #scala #python #CPP #java #mapreduce #hadoop #docker #kubernetes #rancher