Просмотр фото
из
◀
▶
из
Подпишитесь на нашего Telegram бота и выберите в меню пункт "Авторизоваться"
Настоящее Соглашение определяет условия использования Пользователями материалов и сервисов сайта thetime4.net далее — «Сайт».
Сайт - сайт платформы Time4, адрес в сети https://thetime4.net
Событие - раздел сайта, содержащий информацию о проводимом мероприятии, минимальная информация для публикации которого должна содержать: название мероприятия, дату начала мероприятия, адрес или название места проведения
Рекламные баллы - виртуальные ценности сайта, установленные в соотношении 1 рекламный балл равный 1 рублю
Вознаграждение - плата правообладателю за предоставление пользователю использования Рекламных баллов
Размер Вознаграждения определяется пользователеми зависит от объема Рекламных баллов, право использования которых передаётся пользователю.
1.Общие условия
1.1. Использование материалов и сервисов Сайта регулируется нормами действующего законодательства Российской Федерации.
1.2. Настоящее Соглашение является публичной офертой. Получая доступ к материалам Сайта Пользователь считается присоединившимся к настоящему Соглашению.
1.3. Правообладатель Сайта вправе в любое время в одностороннем порядке изменять условия настоящего Соглашения. Такие изменения вступают в силу по истечении 3 (трех) дней с момента размещения новой версии Соглашения на сайте. При несогласии Пользователя с внесенными изменениями он обязан отказаться от доступа к Сайту, прекратить использование материалов Сайта.
2. Обязательства Пользователя
2.1. Пользователь соглашается не предпринимать действий, которые могут рассматриваться как нарушающие российское законодательство или нормы международного права, в том числе в сфере интеллектуальной собственности, авторских и/или смежных правах, а также любых действий, которые приводят или могут привести к нарушению нормальной работы Сайта и сервисов Сайта.
2.2. При цитировании материалов Сайта, включая охраняемые авторские произведения, ссылка на Сайт обязательна подпункт 1 пункта 1 статьи 1274 Г.К РФ.
2.3. Комментарии и иные записи Пользователя на Сайте не должны вступать в противоречие с требованиями законодательства Российской Федерации и общепринятых норм морали и нравственности.
2.4. Пользователь предупрежден о том, что Администрация Сайта не несет ответственности за посещение и использование им внешних ресурсов, ссылки на которые могут содержаться на сайте.
2.5. Пользователь согласен с тем, что Администрация Сайта не несет ответственности и не имеет прямых или косвенных обязательств перед Пользователем в связи с любыми возможными или возникшими потерями или убытками, связанными с любым содержанием Сайта, регистрацией авторских прав и сведениями о такой регистрации, товарами или услугами, доступными на или полученными через внешние сайты или ресурсы либо иные контакты Пользователя, в которые он вступил, используя размещенную на Сайте информацию или ссылки на внешние ресурсы.
2.6. Пользователь принимает положение о том, что все материалы и сервисы Сайта или любая их часть могут сопровождаться рекламой. Пользователь согласен с тем, что Администрация Сайта не несет какой-либо ответственности и не имеет каких-либо обязательств в связи с такой рекламой.
3. Рекламные баллы, начисление, использование
3.1. Каждый пользователь Сайта при регистрации получает закрепленный за ним виртуальный счёт, измеряемый в "рекламных баллах"
3.2. Пользователь сайта получает рекламные баллы за действия совершаемые на Сайте
3.2.1. Регистрация пользователя - 20 рекламных баллов
3.2.2. Публикация первых трёх Событий с датой начала более 2х дней с даты публикации - 100 рекламных баллов
3.2.3. Публикация первых трёх Событий с датой меньшей, чем плюс 2 дня от даты публикации - 50 рекламных баллов
3.2.4. Публикация четвертого и последующих Событий с датой начала более 2х дней с даты публикации - 100 рекламных баллов, иначе - 50 рекламных баллов
3.2.5. Публикация постов с фотографиями, при условии текстового содержимого от 100 символов и первого поста от этого пользователя в отдельном Событии - 10 рекламных баллов плюс количество фотографий
3.2.6. Публикация текстового поста от 200 символов - 10 баллов
3.3. Зачисление рекламных баллов происходит сразу после публикаций в случаях предусмотренных настоящим положением 3.2.1, 3.2.2 и 3.2.3 в остальных случаях задержка на проверку действий модераторами устанавливается равной 1 час (60 минут)
3.4. Пополнение рекламных балллов может осуществляться через внесение Вознаграждения
3.5. С момента отражения виртуальных ценностей в виде "Рекламных баллов" в аккаунте пользователя, пользователь не вправе требовать от правообладателя сайта возврата Вознаграждения, уплаченного за такие права, если иное не предусмотрено применимым законодательством.
4. Прочие условия
4.1. Все возможные споры, вытекающие из настоящего Соглашения или связанные с ним, подлежат разрешению в соответствии с действующим законодательством Российской Федерации.
4.2. Ничто в Соглашении не может пониматься как установление между Пользователем и Администрации Сайта агентских отношений, отношений товарищества, отношений по совместной деятельности, отношений личного найма, либо каких-то иных отношений, прямо не предусмотренных Соглашением.
4.3. Признание судом какого-либо положения Соглашения недействительным или не подлежащим принудительному исполнению не влечет недействительности иных положений Соглашения.
4.4. Бездействие со стороны Администрации Сайта в случае нарушения кем-либо из Пользователей положений Соглашения не лишает Администрацию Сайта права предпринять позднее соответствующие действия в защиту своих интересов и защиту авторских прав на охраняемые в соответствии с законодательством материалы Сайта.
Пользователь подтверждает, что ознакомлен со всеми пунктами настоящего Соглашения и безусловно принимает их.
Вставьте в поле ниже ссылку на изображение в формате .jpeg .gif или .png и убедитесь, что выбранное вами изображение доступно для загрузки
Ошибка доступа
Введите название опроса
Перечислите варианты ответа (не более 10)
Описание мероприятия 5 дней практического обучения администрирования кластера Hadoop, установке и настройке кластера Hadoop под управлением Apache Ambari на платформе HortonWorks Data Platform или Arenadata Hadoop, безопасность Kerberos, Apache Ranger, Atlas, Knox, мониторинг, репликация и резервное копирование, взаимодействие с компонентами экосистемы Hadoop: Spark, Hive/Tez, sqoop, HDFS, MapReduce, Zeppelin, NiFi.
Примечание: с 1 января 2019 года данный курс проводится в объединённом формате по дистрибутивам Hadoop версии 2 компаний Cloudera/HortonWorks/ArenaData на выбор для пользователей. Для корпоративного формата обучения возможна выделенная программа по одной версии дистрибутива Hadoop (уточняйте у менеджера).
Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить практические навыки по установке, конфигурированию, обслуживанию и администрированию кластером Hadoop с использованием дистрибутива HortonWorks или ArenaData Hadoop по выбору.
- Начальный опыт работы в Unix, опыт работы с текстовым редактором vi (желателен).
Продолжительность: 5 дней, 40 академических часов.
Apache Hadoop является наиболее популярной открытой платформой для распределённого хранения больших данных и параллельных вычислений. В рамках данного курса вы получите теоретические знания и практические опыт по планированию и развёртыванию распределённых вычислительных кластеров на базе Hadoop на базе дистрибутива HortonWorks Data Platform, мониторингу и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройки безопасности системы Kerberos на базе Hadoop.
Курс построен на сквозных практических примерах развёртывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре; использования компонент Hadoop для запуска задач распределённых вычислений с тестовыми данными. Практические занятия выполняются в кластерной среде Amazone Web Services с использованием дистрибутивов Arena Data/HortonWorks Data Platform программного обеспечения Apache Ambari.
Соотношение теории к практике 40/60.
Введение в Big Data. Что такое Big Data. Понимание проблемы Big Data. Эволюция систем распределённых вычислений Hadoop. Принципы формирование pipelines и Data Lake. Архитектура Apache Hadoop. Hadoop сервисы и основные компоненты. Name node. Data Node. YARN-сервис. Планировщик. HDFS. Отказоустойчивость и высокая доступность. Hadoop Distributed File System. Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Архитектура HDFS. Дисковые квоты. Поддержка компрессии. Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы. Импорт(загрузка) данных на HDFS. MapReduce. Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2.Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce. Дизайн кластера Hadoop. Сравнение дистрибутивов и версий Hadoop 2/3 (HortonWorks Data Platform, Cloudera Distributed Hadoop, MapR, Arenadata Hadoop): различия и ограничения. Требования программного и аппаратного обеспечения. Планирование кластера. Масштабирование кластера Hadoop. Отказоустойчивость Hadoop. Federated NameNode. Hadoop в облаке. Сравнение Cloud решений для Hadoop. Amazon EMR. Интеграция с другими решениями: streaming (DataFlow), NoSQL. Установка кластера. Установка Hadoop кластера. Выбор начальной конфигурации. Оптимизация уровня ядра для узлов. Начальная конфигурация HDFS и MapReduce. Файлы логов и конфигураций. Установка Hadoop клиентов. Установка Hadoop кластера в облаке. Автоматическая установка. Установка и настройка кластера Hadoop в изолированном окружении (offline).Операции обслуживания кластера Hadoop. Дисковая подсистема. Квоты. Остановка, запуск, перезапуск. Управление узлами. Сетевая топология. Управление обновлениями и создание локального репозитория. Оптимизация и управление ресурсами. Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность. Планировщики: FIFO scheduler. Планировщик ёмкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами DRF. 9. Управление кластером Hadoop с использованием Apache Ambari. Установка Apache Ambari. Интерфейс управления Apache Ambari. Базовые операции обслуживания и управление задачами с использованием Apache Ambari. Диагностика и trobleshooting с Apache Ambari. Безопасность Hadoop. Безопасность по умолчанию. Встроенные компоненты безопасности дистрибутива HortonWorks/ ArenadataHadoop: Apache Ranger, Apache Atlas, Apache Knox. Многопользовательский режим. Аутентификация и авторизация. Kerberos, keytabs, principals. Установка и конфигурирование Kerberos в Hadoop. Аудит доступа. Резервное копирование и аварийное восстановление. Репликация данных и snapshoting. Конфигурирование высокой доступности Name node (HA).Best practices HortonWorks/Arenadata Hadoop. Мониторинг. Apache Zookeeper. Встроенные средства мониторинга Apache Ambari Metrics. Логи сервисов и компонент. Внешние системы мониторинга: Zabbix, JMX. Troubleshooting. Data Node. Name Node. Восстановление Name Node. Инструментарий Hadoop экосистемы дистрибутива HortonWorks/ Arenadata Hadoop. Графический интерфейс сервиса Zeppelin. Введение Apache Pig. Введение Apache Zookeeper. Введение в Apache Hive/Tez, понятие Hive таблицы, установка Hive/Tez. Введение в Apache sqoop — установка и выполнение базовых операций. Введение в Apache Flume — установка и выполнение базовых операций. Введение в Apache Spark — установка и выполнение базовых операций. Обзор и назначение компонент: Apache Kafka, Apache HBase, Apache NiFi, Apache Flink, Apache Zookeeper.
- Ручная установка кластера Hadoop с дистрибутива HortonWorks Data Platform/Arenadata Hadoop на локальной системе 3-узловый кластер.
- Установка 3-узлового кластера в облаке Amazon Web Services с использованием Apache Ambari.
- Базовые операции с кластером Hadoop и файловые операции HDFS.
- Управление ресурсами и запуском задач с использованием YARN MapReduce.
- Управление кластером с использованием Apache Ambari (развёртывание сервисов, репликация, мониторинг, alerting и т.д.).
- Настройка аутентификации Kerberos для кластера Hadoop под управление Apache Ambari.
- Установка и выполнение базовых операций в Apache Hive, Apache sqoop, Apache Flume, Apache Spark.
- Выполнение задач в веб-интерфейсе Zeppelin.
- Настройка мониторинга кластера Hadoop с использованием Zabbix (опционально).
- Настройка высокой доступности Name Node (опционально).
- Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу).
- Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей.