Programas de Aplicação Hadoop

Este livro é um guia prático que se foca exclusivamente em implementações reais e soluções executáveis utilizando o Hadoop e o seu ecossistema. Foi concebido como um recurso orientado para o laboratório, onde os leitores aprendem tecnologias de Big Data através da execução direta de configurações, comandos e tarefas analíticas. O livro começa com a configuração e instalação do Hadoop, tanto no modo de operação pseudo-distribuído como no totalmente distribuído. Os leitores implementam depois tarefas essenciais de gestão de ficheiros HDFS, incluindo a adição de ficheiros e diretórios, a recuperação de dados do HDFS e a eliminação de ficheiros. Estes exercícios ajudam os utilizadores a sentirem-se confortáveis ao trabalhar com sistemas de armazenamento distribuído. O livro fornece múltiplas implementações de MapReduce, começando com uma solução de Word Count para calcular o número de ocorrências de cada palavra em grandes ficheiros de entrada. Inclui ainda programas para pesquisa de palavras baseada em palavras-chave e eliminação de stop words de grandes conjuntos de dados de texto. Uma secção dedicada foca-se na mineração de dados meteorológicos utilizando MapReduce, onde são implementados programas para calcular temperaturas médias, máximas e mínimas para cada ano e para filtrar registos com base em limiares de temperatura.