-
MapReduce divide o conjunto de dados de entrada em blocos independentes que são processados pelas tarefas de mapa de uma maneira completamente paralela. Essa estrutura classifica as saídas dos mapas, as quais são, então, inseridas nas tarefas de redução.
É um modelo de programação para processamento de dados de forma paralela. O modelo é simples, embora não seja tão simples escrever programas úteis o utilizando. Isto ocorre porque o MapReduce trabalha com duas primitivas de processamento de dados, Mapper e Reducer, o que torna a programação não muito trivial, além de ser diferente do que a maior parte dos desenvolvedores está acostumada. Mas o mais importante a se ressaltar é que os programas MapReduce são inerentemente paralelos, o que o coloca como uma solução fantástica para problemas que envolvam análise de dados em larga escala. Com isso, uma vez que a aplicação MapReduce está escrita, escalar a mesma para rodar em cima de centenas, milhares ou milhões de dados é apenas uma questão de mudança de configuração, ou seja, independentes.
-
Gabarito: Certo
- O MapReduce e um modelo de programação que permite o processamento de dados massivos em um algoritmo escalável, paralelo e distribuído, geralmente utilizando um cluster de computadores.
Para complementar: Mapreduce e OLAP são técnicas que processam grandes volumes de dados e permitem operar com grande quantidade de dados diferentes.
-
No cerne do MapReduce estão duas funções: Map e Reduce
"...divide o conjunto de dados de entrada em blocos independentes que são processados pelas tarefas de mapa de uma maneira completamente paralela"
Os dados de entrada são primeiro divididos em blocos menores. Cada bloco é então atribuído a um mapeador para processamento.
Por exemplo, se um arquivo tiver 100 registros a serem processados, 100 mapeadores podem ser executados juntos para processar um registro cada. Ou talvez 50 mapeadores possam ser executados juntos para processar dois registros cada.
"Essa estrutura classifica as saídas dos mapas, as quais são, então, inseridas nas tarefas de redução."
Depois que todos os mapeadores concluem o processamento, a estrutura embaralha e classifica os resultados antes de passá-los para os redutores.
[1] https://www.talend.com/resources/what-is-mapreduce/ (traduzido).
-
COMPLEMENTANDO:
MapReduce (Mapear e Reduzir):
» Processamento paralelo em ambiente distribuído
» Agrupamento por chave-valor
» Transforma dados maiores em dados menores
@ROTINACONCURSOS