Hadoop. Spark

Uploaded By: Myvideo

Published on

6 Jul 2019

4 views

0

0 votes

0

About Share Download Add to

Техносфера Group, МГУ им. М.В. Ломоносова. Курс “Методы распределенной обработки больших объемов данных в Hadoop“ Лекция №12 “Spark“ Лектор - Алексей Романенко. Мотивация. RDD. Программная модель Spark. Higher-Order Functions. Трансформация RDD (Map, Reduce, Join, CoGroup, Union и Sample). RDD actions. SparkContext. Создание RDD. Общие переменные (broadcast, accumulator). Движок Apache Spark. Программный интерфейс Spark. Lineage. Зависимости между RDD (Narrow, Wide). Расписание задач. Отказоустойчивость RDD. Управление памятью. Приложения, которые подходят и не подходят для RDD.

Share with your friends

Link:

Embed:

<iframe width="640" height="360" src="//myvideo.cc/embed/ci8zcFVXMkMrTUFwcHZnWnZZSlBVN1loU01zWTg2aGpHZ3VTNnlVQU1HZz0" frameborder="0" webkitallowfullscreen mozallowfullscreen allowfullscreen></iframe>

Video Size:

Custom size:

x

Autoplay video

Hide player controls

Hide resume playing

Add to Playlist:

Favorites

My Playlist

Watch Later

Apache Spark in 100 Seconds

1 month ago

00:03:19

Apache Spark in 100 Seconds

13 55%

RxdCompany

1 month ago

00:00:39

RxdCompany

7 72%

Лекция №2 в МГТУ им. Баумана: архитектурный обзор инструментов для построения DWH

1 month ago

01:31:13

Лекция №2 в МГТУ им. Баумана: архитектурный обзор инструментов для построения DWH

224 28%

Hadoop Spark Flink

1 month ago

00:23:58

Hadoop Spark Flink

1 39%

Бессерверная аналитика с помощью Yandex Query

1 month ago

00:32:08

Бессерверная аналитика с помощью Yandex Query

2 81%

EN, Efficient cluster resource management by using Cook and Mesos / Li Jin (Two Sigma)

2 months ago

00:41:11

EN, Efficient cluster resource management by using Cook and Mesos / Li Jin (Two Sigma)

1 42%

RU, Efficient cluster resource management by using Cook and Mesos / Li Jin (Two Sigma)

2 months ago

00:41:11

RU, Efficient cluster resource management by using Cook and Mesos / Li Jin (Two Sigma)

1 44%

Слон желтого цвета и его друзья / Александр Чистяков (Высшая Инженерная Школа)

2 months ago

00:45:51

Слон желтого цвета и его друзья / Александр Чистяков (Высшая Инженерная Школа)

1 77%

Разгоняем обработку событий до 1.6М/сек. Опыт Badoo / Александр Крашенинников (Badoo)

2 months ago

00:46:57

Разгоняем обработку событий до 1.6М/сек. Опыт Badoo / Александр Крашенинников (Badoo)

8 15%

Автоматический подбор параметров для Spark-приложений / Валерия Дымбицкая (OneFactor)

2 months ago

00:44:00

Автоматический подбор параметров для Spark-приложений / Валерия Дымбицкая (OneFactor)

1 9%

Экосистема Hadoop, Spark, Hive // День открытых дверей OTUS

3 months ago

01:03:11

Экосистема Hadoop, Spark, Hive // День открытых дверей OTUS

19 84%

Владимир Верстов: DSL для ETL в DMP или чего нам не хватило в Airflow или другом готовом решении

3 months ago

00:39:02

Владимир Верстов: DSL для ETL в DMP или чего нам не хватило в Airflow или другом готовом решении

20 62%

Николай Безносов - MLOps в билайн: как катить машинное обучение в production без ML-инженеров

3 months ago

00:35:19

Николай Безносов - MLOps в билайн: как катить машинное обучение в production без ML-инженеров

5 93%

Мок-собеседование на junior+ Data Engineer S1E5 | rzv_de | Aug 2024

4 months ago

00:38:57

Мок-собеседование на junior+ Data Engineer S1E5 | rzv_de | Aug 2024

60 54%

Kafka БАЗА! Теория + Практика анализ данных !

4 months ago

00:09:36

Kafka БАЗА! Теория + Практика анализ данных !

15 46%

Дата . или как сделать море данных по колено

4 months ago

01:05:56

Дата . или как сделать море данных по колено

29 24%

9. Структуры и типы данных в Python. Float

4 months ago

00:11:36

9. Структуры и типы данных в Python. Float

10 59%

8. Структуры и типы данных в Python. Декартово дерево.

4 months ago

00:09:40

8. Структуры и типы данных в Python. Декартово дерево.

2 54%

7. Структуры и типы данных в Python. Хэш-таблицы

4 months ago

00:09:32

7. Структуры и типы данных в Python. Хэш-таблицы

20 75%

6. Структуры и типы данных в Python. Бинарное дерево поиска (BST)

4 months ago

00:09:41

6. Структуры и типы данных в Python. Бинарное дерево поиска (BST)

4 8%

5. Структуры и типы данных в Python. Связные списки

4 months ago

00:10:28

5. Структуры и типы данных в Python. Связные списки

16 23%

4. Структуры и типы данных в Python. Кучи и очереди с приоритетом

4 months ago

00:07:31

4. Структуры и типы данных в Python. Кучи и очереди с приоритетом

18 70%

3. Структуры и типы данных в Python. Словарь и целочисленный тип данных.

4 months ago

00:09:31

3. Структуры и типы данных в Python. Словарь и целочисленный тип данных.

2 24%

2. Структуры и типы данных в Python. Управление памятью

4 months ago

00:16:12

2. Структуры и типы данных в Python. Управление памятью

9 58%

0 Comments

Guest