Вы учились и слышали от старших товарищей, что Java уже давно не sexy, что это всего лишь способ достойно встретить старость, что девушки соглашаются танцевать только с модными data scientists, которые пишут на R/Python. Возможно, ваши старшие товарищи не такие уж вам и товарищи.

В жизни каждого Java-разработчика наступает момент, когда в гости к нему заходит пожилой волшебник и предлагает меч, и имя этому мечу Hadoop. Вы можете взять этот меч, поднять щит Spark, одеть доспехи NoSQL и отправиться в долгое странствие по затерянному мирам BigData. Но не каждому под силу этот поход, иногда нужно заглянуть в себя, чтобы найти ответы на вопросы.

На этом докладе вы сможете пройти вводный курс BigData бойца:

• осознаете как работает алгоритм MapReduce
• разберетесь как писать MR jobs на Java и выполнять их в Hadoop-кластере
• увидите различия между Hadoop и Spark в подходе к обработке данных
• поймете, как выглядит архитектура типичного DataMining приложения на Java/Scala
• познакомитесь с различиями подходов к обработке графов и JSON-подобных данных
• сравните различные языки запросов, построенные на базе инфраструктуры Hadoop

В итоге вы поймете как все это соотносится с вашими знаниями Java, получите конкретные рекомендации по построению и развертыванию своих первых высоконагруженных Java-приложений.