Rápido resumo do Hadoop. (Quase) Tudo o que vc precisa saber sobre o Hadoop em provas.
___________
Os principais elementos (em termos de importancia em provas, sobretudo)do Hadoop sao o MapReduce e HDFS (Hadoop Distributed File System)
MapReduce realiza o processamento dos dados. É dividido em duas fases: Map e Reduce.
Map faz o mapeamento, o processamento primário dos dados de entrada (imputs). Reduce gera os resultados desse processamento, as saídas (outputs).
Componentes do MapReduce
- Jobtraker - gerenciador do processamento. Distribui, organiza as tarefas (tasks) entre as diversas máquinas. Por ex, direciona algumas para a funçao de map e outras para a de reduce. É único para cada aplicaçao (MASTER)
- Tasktraker - executa as tarefas repassadas pelo Jobtracker. Instanciado para cada máquina (SLAVE).
HDFS - Responsável pelo armazenamento de dados, tendo como princípio o acrônimo WORM (Write-once, Read Many - "escrita uma vez, múltiplas leituras" - escrita controlada, leitura livre)
Componentes HDFS
- NameNode - Gerencia o armazenamento de dados. É único para cada aplicaçao (MASTER)
- SecondaryNameNode - Auxilia o NameNode na funçao de gestor do armazenamento. Ou ainda, funciona como alternativa àquele. É único para cada aplicaçao (MASTER)
- Datanode - É quem executa efetivamente as tarefas de armazenamento. Instanciado para cada máquina (SLAVE).
Q435074 CESPE - 2014 - ANATEL - Analista Administrativo - Desenvolvimento de Sistemas
No Hadoop MapReduce, o JobTracker é o processo-escravo responsável por aceitar submissões de tarefas e disponibilizar funções administrativas. ERRADO
Q862680 CESPE - 2018 - TCE-PB - Auditor de Contas Públicas
Em big data, o sistema de arquivos HDFS é usado para armazenar arquivos muito grandes de forma distribuída, tendo como princípio o write-many, read-once. ERRADO
Fonte:
https://www.devmedia.com.br/hadoop-mapreduce-introducao-a-big-data/30034
Gabarito: A
Em termos de funcionamento, o HDFS necessita de dois tipos de nós de armazenamento: um namenode (mestre) e um ou mais datanodes (trabalhadores). O mestre comanda todo o sistema de arquivos, mantendo metadados para todos os arquivos e diretórios da árvore de diretórios e arquivos do sistema. Ele também sabe quais datanodes possuem os blocos de determinado arquivo.
Já os datanodes guardam e recuperam blocos, quando mandados pelo nó mestre (os datanodes não fazem nada por conta própria), e enviam relatórios ao namenode periodicamente, com as listas dos blocos que eles estão armazenando.