Big Data Engineering

Online kursy

Хардкорный курс для имеющих представление о программировании и сфокусированный на решение крупных, сложных задач. После прохождения этого курса вам будет по плечу проект любой сложности и данные любого размера.

Начать!

Задания квеста

  • Инструментарий: mvn, sbt и Gradle
  • Nexus и локальный Maven репозиторий
  • Простое стриминговое приложение
  • Разворачиваем первый Hadoop кластер
  • Пишем в HDFS
  • Hive и все-все-все
  • Введение в Parquet
  • Агрегация логов
  • HBase
  • Сложное стриминговое приложение
  • Поможем развитию Spark
  • Exactly-once and WAL
  • UDF
  • UDAF
  • Kerberos and ACL
  • Monitoring
  • Logistic_regression
  • SVM
  • SQL engines competition: drill, impala, hive
  • GraphX and twitter
  • GraphX and neo4j
  • freeipa + hadoop + ranger
  • Rstudio + Ipython + Spark
  • flume + storm + flink
  • основы Akka
  • ML
Хватит болтать, давай уже учиться!

Менторы, выдающие этот квест

«Я консультант по Big Data, Realtime обработка данных, облачным системам. Эти модные слова несут в себе простой смысл - работать должны роботы и решения принимать они же на основе текущей информации.»

Как проходит выполнение квеста

На деле это будет выглядеть примерно так:

  1. Приняв решение о начале обучения, ты получишь доступ к волшебной кнопке «Начать квест» из меню «Обучение»

    00 start ru
  2. Перед тобой появится список заданий. В зависимости от выбранного квеста, количество заданий будет отличаться, но неизменным будет одно: доступ к новым заданиям будет открываться по мере прохождения. Как в компьютерной игре. Без спойлеров!

    00 task1 ru
  3. Дальше ты читаешь, что от тебя требуется, и выполняешь этот квест. Вот здесь и начинаются твои “а что?”, “а где?”, “а как?”, и ментор на них отвечает. И хотя в самом задании указаны ссылки на материалы, которые тебе нужно изучить, чтобы понять, как выполнить задание, будет не лишним уточнить у ментора, правильно ли ты всё делаешь.

  4. Сделал? Отлично! Отправляешь результат работы на проверку и ждёшь результата, пока ментор тщательно проверяет твой код. В журнале задания отображается текущий статус задания. Подробнее, о том, как и куда отправлять, в описании самого квеста.

    00 success ru
  5. Приступаешь к следующему заданию, и повторяете так до самого конца, пока не дойдёте до цели в виде готового, работающего веб-приложения.

    00 next task ru

В процессе обучения ты будешь получать уведомления на почту об успешном завершении заданий. Также, письма будут приходить если в течение какого-то времени ты не проявлял активностей. У нас много разных способов потыкать в тебя палочкой и убедиться, что ты справляешься с поставленной задачей. Ментор не оставит тебя без внимания, но в конечном счёте, процесс и прогресс обучения зависит лишь от тебя.

Step5

Подождите, у меня остались вопросы...

Vopros
А какое приложение пишется во время курса?

Несколько приложений, каждое из которым выполняет определенную задачу.

А мы будем использовать XXX или YYY?

О, даже сложно представить сколько всего мы будем использовать.

Я уже разработал пару простых приложений, имеет смысл идти на этот курс?

Обязательно. В этом курсе начиная с азов ты погрузишься в магию всех востребованых нынче технологий. Заодно научишься взаимодействовать с сообществом, в котором гениальных людей каждый второй.

А мне будут выдавать тонну теории?

Теория в BigData важна только в рамках выполняемой задачи. Мы будем использовать существующие алгоритмы, но научимся их оценивать по сложности и точности. В каждой задаче есть требуемые сроки и точность обработки.

О нашем подходе к поиску информации мы даже написали целую статью Лучшие ресурсы для изучения программирования.

А меня научат Highload и High Availability?

Да. Это те вещи, которые нужно учить и смотреть в реальных рабочих условиях, когда у тебя уже есть приложение с сотнями тысяч пользователей или хотя бы запросов. Твиттер это поток сообщений, и мы будем учиться их обрабатывать в разных режимах: гарантированно обработать хоть раз, гарантированно обработать только один раз и обработка с предсказуемой потерей данных.

Но мы обязательно расскажем тебе всё, что знаем об этом, потому что у наших менторов есть большой опыт работы в проектах с миллионами пользователей и они знают, что делать в таких ситуациях. :)

А если я не уверен, что мне нужна биг дата? Где можно узнать теорию?

Для начала, с чаем и тортиком, посмотрите вебинар Александра Сербула. Человеческим языком, весело и быстро Александр даст общую картинку. А после стоит начинать вникать в суть всего.

Есть замечательный ресурс – Coursera, на котором множество курсов.

Пройдите хотя бы парочку из перечисленных:

И, конечно, не помешает понять Scala:

И сразу нужно учить hadoop:

Работая над этими курсами вы сможете понять, на сколько всесильна математика и как с её помощью изменить мир. Практику изменения миров уже на нашем курсе получите.

F.A.Q.