Módulos e Conteúdo

Módulo 1: Processamento de dados sem servidor com Dataflow: Fundamentos Este curso é a parte 1 de uma série de 3 cursos sobre Processamento de dados sem servidor com Dataflow. Neste primeiro curso, começamos com uma atualização do que é o Apache Beam e sua relação com o Dataflow. A seguir, falamos sobre a visão do Apache Beam e os benefícios da estrutura de portabilidade do Beam. A estrutura de portabilidade do Beam alcança a visão de que um desenvolvedor pode usar sua linguagem de programação favorita com seu back-end de execução preferido. Em seguida, mostramos como o Dataflow permite separar computação e armazenamento enquanto economiza dinheiro e como as ferramentas de identidade, acesso e gerenciamento interagem com seus pipelines do Dataflow. Por fim, veremos como implementar o modelo de segurança certo para seu caso de uso no Dataflow. >>> Ao se inscrever neste curso, você concorda com os Termos de Serviço do Qwiklabs, conforme definido nas Perguntas frequentes e localizado em: https://qwiklabs.com/terms_of_service <<<

Módulo 2: Processamento de dados sem servidor com Dataflow: desenvolver pipelines Nesta segunda parte da série de cursos do Dataflow, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Começamos com uma revisão dos conceitos do Apache Beam. Em seguida, discutimos o processamento de dados de streaming usando janelas, marcas d'água e gatilhos. Em seguida, abordamos opções para origens e coletores em seus pipelines, esquemas para expressar seus dados estruturados e como fazer transformações com estado usando APIs de estado e timer. Passamos a revisar as práticas recomendadas que ajudam a maximizar o desempenho do pipeline. No final do curso, apresentamos SQL e Dataframes para representar sua lógica de negócios no Beam e como desenvolver pipelines iterativamente usando notebooks Beam.

Módulo 3: Processamento de dados sem servidor com Dataflow: operações Na última parte da série de cursos do Dataflow, apresentaremos os componentes do modelo operacional do Dataflow. Examinaremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Em seguida, analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Concluiremos com uma análise dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições ajudarão a garantir que sua plataforma de dados seja estável e resiliente a circunstâncias imprevistas.