Módulos e Conteúdo

Módulo 1 - Classificações e produtos de Big Data - O primeiro módulo “Big Data Rankings & Products” enfoca a relação e as participações de mercado de hardware, software e serviços profissionais de big data. Essas informações fornecem uma visão de como a futura indústria, produtos, serviços, escolas e organizações governamentais serão influenciadas pela tecnologia de big data. Para ter uma visão mais profunda das principais linhas de produtos e tipos de serviços de big data do mundo, a palestra fornece uma visão geral sobre as principais empresas de big data, que incluem IBM, SAP, Oracle, HPE, Splunk, Dell, Teradata, Microsoft, Cisco e AWS. Para entender o poder da tecnologia de big data, é explicada a diferença da análise de big data em comparação com a análise de dados tradicional. Isso é seguido por uma palestra sobre os grandes desafios 4 V da tecnologia de big data, que tratam de questões de volume, variedade, velocidade e veracidade dos dados massivos. Com base nessas informações introdutórias, é introduzida a tecnologia de big data usada para adicionar insights globais sobre investimentos, ajudar a localizar novas lojas e fábricas e executar sistemas de recomendação em tempo real do Wal-Mart, Amazon e Citibank.

Módulos e Conteúdo

Módulo 2 - Big Data e Hadoop - O segundo módulo “Big Data & Hadoop” enfoca as características e operações do Hadoop, que é o sistema original de big data usado pelo Google. As palestras explicam a funcionalidade do MapReduce, HDFS (Hadoop Distributed FileSystem) e o processamento de blocos de dados. Essas funções são executadas em um cluster de nós aos quais é atribuído o papel de NameNode ou DataNodes, onde o processamento dos dados é realizado pelo JobTracker e pelos TaskTrackers, que são explicados nas aulas. Além disso, são explicadas as características dos tipos de metadados e as diferenças nos processos de análise de dados de Hadoop e SQL (Structured Query Language). Em seguida, é apresentada a série de lançamentos do Hadoop, que inclui as descrições do Hadoop YARN (Yet Another Resource Negotiator), HDFS Federation e HDFS HA ​​(High Availability) tecnologia de big data.

Módulos e Conteúdo

Módulo 3 - Fagulha - O terceiro módulo “Spark” enfoca as operações e características do Spark, que é atualmente a tecnologia de big data mais popular do mundo. A palestra aborda primeiro as diferenças nas características de análise de dados do Spark e do Hadoop, depois aborda os recursos do processamento de big data do Spark com base no RDD (Resilient Distributed Datasets), Spark Core, Spark SQL, Spark Streaming, MLlib (Machine Learning Library) e unidades principais do GraphX. Detalhes dos recursos dos estágios do Spark DAG (Directed Acyclic Graph) e dos processos de pipeline que são formados com base nas transformações e ações do Spark são explicados. Especialmente, a definição e as vantagens das transformações preguiçosas e das operações DAG são descritas junto com as características das variáveis ​​e serialização do Spark. Além disso, o processo de operações de cluster do Spark com base em Mesos, Standalone e YARN é apresentado.

Módulos e Conteúdo

Módulo 4 - Spark ML e streaming - O quarto módulo “Spark ML & Streaming” foca em como o Spark ML (Machine Learning) funciona e como as operações de streaming do Spark são conduzidas. Os algoritmos do Spark ML incluem recursos, pipelines, persistência e utilitários que operam nos RDDs (conjuntos de dados distribuídos resilientes) para extrair informações dos conjuntos de dados massivos. As palestras explicam as características da API baseada em DataFrame, que é a principal API de ML no pacote spark.ml. Os algoritmos estatísticos básicos Spark ML baseados em testes de correlação e hipótese (valor P) são introduzidos pela primeira vez, seguidos pela classificação Spark ML e algoritmos de regressão baseados em modelos lineares, Bayes ingênuos e técnicas de árvore de decisão. Em seguida, são explicadas as características do Spark streaming, entrada e saída de streaming, bem como tipos de receptores de streaming (que incluem básico, personalizado e avançado), seguidos de como o processo Spark Streaming e o DStream (Discretized Stream) permitem operações de streaming de big data para aplicações em tempo real e quase em tempo real.

Módulos e Conteúdo

Módulo 5 - Tempestade - O quinto módulo “Storm” enfoca as características e operações dos sistemas de big data Storm. A palestra primeiro cobre as diferenças nas características de análise de dados da tecnologia Storm, Spark e Hadoop. Em seguida, os recursos do processamento de big data do Storm com base no nimbus, spouts e bolts são descritos, seguidos pelos fluxos do Storm, supervisor e detalhes do ZooKeeper. Mais detalhes sobre spouts e bolts confiáveis ​​e não confiáveis ​​do Storm são fornecidos, seguidos pelas vantagens do Storm DAG (Directed Acyclic Graph) e gerenciamento de filas de fluxo de dados. Além disso, as vantagens de usar aplicativos rápidos em tempo real baseados em Storm, que incluem análises em tempo real, ML online (Machine Learning), computação contínua, DRPC (Distributed Remote Procedure Call) e ETL (Extract, Transform, Load) são introduzido.

Módulos e Conteúdo

Módulo 6 - Projeto de Estatística IBM SPSS - O sexto e último módulo “IBM SPSS Statistics Project” concentra-se em fornecer experiência em um dos sistemas de análise estatística de big data mais famosos e amplamente utilizados no mundo. Primeiro, a palestra começa com como configurar e usar o IBM SPSS Statistics e continua descrevendo como o IBM SPSS Statistics pode ser usado para obter experiência em análise de dados corporativos. Em seguida, são conduzidos os resultados estatísticos de processamento de dados de dois projetos baseados no uso do sistema de big data IBM SPSS Statistics. Os projetos são conduzidos para que o aluno descubra novas formas de usar, analisar e desenhar gráficos de relacionamento entre conjuntos de dados, além de comparar os resultados estatísticos usando o IBM SPSS Statistics.