Выставки/Фестивали

Курс "Apache Kafka кластер администратор"

Интернет

Отзывов: 0

Завершилось 07 дек 2020
ещё события

Time4
02-ноя-2020 21:36 / Всем

Описание мероприятия
Введение в Apache Kafka. Что такое Kafka?Сценарии использования Kafka. Компоненты Kafka и Kafka экосистемы. Архитектура Kafka. Кластер Zookeeper. Потоковая Обработка Событий(Event Stream Processing). Терминология и основные концепции. Сравнение Hadoop и Spark. Основные концепции Kafka. Как работает Kafka. Топики (Topics) и партиций (Partitions). Репликация данных. Брокеры (Brokers). Развёртывание. Конфигурация Multibroker. Поставщики данных (Producers). Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API. Потребители данных (Consumers). Очереди Consumers. Широковещание (Broadcasting).Установка кластера Kafka. Требования по установке кластера Kafka. Установка и настройка кластера Zookeeper. Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка и настройка кластера Kafka. Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоусточивость кластера Kafka. Kafka менеджер. Установка кластера Kafka на AWS. Базовые операции в Kafka. Операции с Топиками (Topic).Публикация данных с консольного Producer. Получение данных с консольного Consumer. Пользовательские интерфейсы топика Kafka (Topics UI).Написание кода producer. Написание кода consumer. Оптимизация кластера Apache Kafka. Оптимизация производительности компонент кластера. Масштабирование кластера. Балансировка разделов (partition) и использование Partition Reassignment Tools. Best Practices. Мониторинг кластера Kafka. Настройка мониторинга кластера Apache Kafka (Confluent) с использованием Prometheus + Grafana. Интеграция с Kafka. Интеграция Spark и Spark Streaming. Интеграция потоковой обработки Spark Streaming и Kafka. Использование Apache NiFi. Интеграция Apache Flume с Kafka. Расширенная конфигурация кластера Apache Kafka. Расширенная конфигурация топиков (Topic). Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. Пользовательский интерфейс Landoop Kafka Topics. Confluent REST Proxy. Настройка Confluent Schema Registry. Архитектура Kafka Connect. Безопасность в Kafka. Шифрование SSL. Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов. Аутентификация SSL/SASL. Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos. Авторизация в Kafka. Управление списками управления доступом (ACL).