Big Data Engineering

Online kursy

Хардкорный курс для имеющих представление о программировании и сфокусированный на решение крупных, сложных задач. После прохождения этого курса вам будет по плечу проект любой сложности и данные любого размера.

Специализированный курс рассчитаный на подготовку инженера по обработке больших данных. Всё практично и нацеленно на результат. От быстрого прототипа до оптимизации работающего проекта.

Самый важный навык разработчика – это решать поставленные задачи любой сложности. В этом курсе ты научишься получать данные, обрабатывать их в предсказуемые интервалы времени (от 2 сек до 10мс), сохранять данные и результат обработки. А так же научимся простейшим алгоритмам предсказания будущего.

Вот лишь примерный список того, что тебе придётся делать:

  • Писать пакетную обработку данных (Spark, Hadoop MapReduce)
  • Писать событийную обработку данных (Storm, Akka)
  • Покрывать тестами сложную функциональность проекта
  • Настраивать, оптимизировать и автоматизировать сервера для BigData стека
  • Работать с API Hadoop, Spark, Flink, Storm, Akka
  • Оптимизировать работу приложения при помощи анализа отладочных данных и DAG (направленные не цикличные графы)
  • Написать как минимум один пулл реквест для проекта Spark и добавить его в своё резюме
  • Научиться высчитывать вероятность наступления события на основе потоковых данных
Mentor

Обучение на этом курсе проходит с участием ментора

Это означает, что весь процесс обучения идёт под строгим надзором и при полном участии опытного наставника. Дельные советы, помощь в решение заданий, мотивационные пинки и вот это всё. Подробнее о менторстве здесь.

С ментором ты научишься автоматизировать некоторые задачи, понимать структуру и назначения всех элементов выполняемого проекта. Кроме этого, ментор обучает тонкостям профессии, без знания которых тебя или просто засмеют, или вообще не возьмут на работу.

Как применить полученные навык программирования – тоже входит в программу обучения. Ментор научит где и как искать работодателя, как устроен рынок программистов, и оказывает посильную помощь в поисках работы, делая всё, чтобы сократить промежуток между "я умею делать веб-приложения" до "я зарабатываю деньги на разработке веб-приложений".

Minimalnie trebovanija

Никаких минимальных требований

Мы не накладываем никаких ограничений на начальные знания для изучения этого курса, но стоит признать, что если ты новичок в программировании, то вряд ли у тебя получится продвинуться дальше первого задания менее чем за неделю. Поэтому вот список пожеланий, которым лучше соответствовать:

  • За плечами уже есть написанное приложение на любом языке
  • Знание английского на уровня чтения документации
  • Пройти минимум два урока из ресурса Mapr Academy
  • Храбрость и готовность думать и решать задачи, а не следовать пошаговым инструкциям

Стоимость обучения

Стоимость курса зависит от ставки ментора, который тебя обучает. Чтобы начать обучение по этому курсу с выбранным ментором, нужно активировать аккаунт.

Ты сам выбираешь, сколько будет стоить твоё обучение. Никаких рамок, никаких сроков. Обучение проходит в твоём темпе.

Это значит, что чем быстрее ты усваиваешь знания, тем дешевле тебе обходится обучение. Обучение проходит всё время, пока активна твоя подписка на менторство. Всё это время ментор проверяет качество твоей работы, постоянно с тобой на связи, отвечает на твои вопросы, бросается в тебя полезными публикациями и тыкает тебя мотивационной палочкой.

Как проходит обучение

Кто такой ментор? Ментор — это, как ты знаешь, если хорошо учился в школе, был учителем Телемаха, сына Одиссея. Наставник, стало быть, и воспитатель. В этом, собственно, и заключается суть нашего менторства, и едва ли можно предполагать, что мы вкладываем в это значение нечто большее или меньшее. Но всё же расскажем подробнее.

Обучение с ментором хоть и состоит из выполнения практических заданий, но не ограничивается ими. Цель ментора заключается не в том, чтобы поставить тебе хорошую отметку и избавиться от тебя, а в том, чтобы сделать из тебя веб-разработчика. Поэтому ответы на твои даже самые глупые вопросы, советы, мудрости, волшебные пендели и вот это всё, лежит в зоне его ответственности. Тебе не придётся его стесняться, ведь это тот человек, который сознательно тратит своё свободное время ради твоего успеха. И вот как это будет происходить.

Мы верим, что научить невозможно, можно лишь научиться. Поэтому задачи перед тобой будут ставиться такие, что чтобы их выполнить, тебе придётся чему-то научиться. Только твой ментор всегда будет рядом (ну, не физически, но на связи), и по мере возникновения вопросов (а они будут возникать, ведь если вопросов от тебя нет, то ты либо не учишься, либо умер в процессе), будет на них отвечать и подсказывать.

На деле это будет выглядеть примерно так:

  1. Приняв решение о начале обучения, ты получишь доступ к волшебной кнопке «Начать курс» из меню «Обучение»

    Step1
  2. Перед тобой появится список заданий. В зависимости от выбранного курса, количество заданий будет отличаться, но неизменным будет одно: доступ к новым заданиям будет открываться по мере прохождения. Как в компьютерной игре. Без спойлеров!

    Step2
  3. Дальше ты читаешь, что от тебя требуется, и выполняешь этот квест. Вот здесь и начинаются твои “а что?”, “а где?”, “а как?”, и ментор на них отвечает. И хотя в самом задании указаны ссылки на материалы, которые тебе нужно изучить, чтобы понять, как выполнить задание, будет не лишним уточнить у ментора, правильно ли ты всё делаешь.

  4. Сделал? Отлично! Отправляешь результат работы на проверку и ждёшь результата, пока ментор тщательно проверяет твой код. В журнале задания отображается текущий статус задания. Подробнее, о том, как и куда отправлять, в описании самого курса.

    Step3
  5. Приступаешь к следующему заданию, и повторяете так до самого конца, пока не дойдёте до цели в виде готового, работающего веб-приложения.

    Step4

В процессе обучения ты будешь получать уведомления на почту об успешном завершении заданий. Также, письма будут приходить если в течение какого-то времени ты не проявлял активностей. У нас много разных способов потыкать в тебя палочкой и убедиться, что ты справляешься с поставленной задачей. Ментор не оставит тебя без внимания, но в конечном счёте, процесс и прогресс обучения зависит лишь от тебя.

Step5

Подождите, у меня остались вопросы...

Vopros
А какое приложение пишется во время курса?

Несколько приложений, каждое из которым выполняет определенную задачу.

А мы будем использовать XXX или YYY?

О, даже сложно представить сколько всего мы будем использовать.

Я уже разработал пару простых приложений, имеет смысл идти на этот курс?

Обязательно. В этом курсе начиная с азов ты погрузишься в магию всех востребованых нынче технологий. Заодно научишься взаимодействовать с сообществом, в котором гениальных людей каждый второй.

А мне будут выдавать тонну теории?

Теория в BigData важна только в рамках выполняемой задачи. Мы будем использовать существующие алгоритмы, но научимся их оценивать по сложности и точности. В каждой задаче есть требуемые сроки и точность обработки.

О нашем подходе к поиску информации мы даже написали целую статью Лучшие ресурсы для изучения программирования.

А меня научат Highload и High Availability?

Да. Это те вещи, которые нужно учить и смотреть в реальных рабочих условиях, когда у тебя уже есть приложение с сотнями тысяч пользователей или хотя бы запросов. Твиттер это поток сообщений, и мы будем учиться их обрабатывать в разных режимах: гарантированно обработать хоть раз, гарантированно обработать только один раз и обработка с предсказуемой потерей данных.

Но мы обязательно расскажем тебе всё, что знаем об этом, потому что у наших менторов есть большой опыт работы в проектах с миллионами пользователей и они знают, что делать в таких ситуациях. :)

А если я не уверен, что мне нужна биг дата? Где можно узнать теорию?

Для начала, с чаем и тортиком, посмотрите вебинар Александра Сербула. Человеческим языком, весело и быстро Александр даст общую картинку. А после стоит начинать вникать в суть всего.

Есть замечательный ресурс – Coursera, на котором множество курсов.

Пройдите хотя бы парочку из перечисленных:

И, конечно, не помешает понять Scala:

И сразу нужно учить hadoop:

Работая над этими курсами вы сможете понять, на сколько всесильна математика и как с её помощью изменить мир. Практику изменения миров уже на нашем курсе получите.

Всё ещё мучают вопросы?
Тогда читай полный и подробный F.A.Q.