-
Questão Wiki....
"MapReduce é um modelo de programação, e framework introduzido pelo Google para suportar computações paralelas em grandes coleções de dados em clusters de computadores. O MapReduce passa a ser considerado um novo modelo computacional distribuído, inspirado pelas funções map e reduce usadas comumente em programação funcional. MapReduce é um “Data-Oriented” que processa dados em duas fases primárias: Map e Reduce."
Fonte: http://pt.wikipedia.org/wiki/MapReduce
-
A MapReduce program is composed of a Map() procedure that performs filtering and sorting (such as sorting students by first name into queues, one queue for each name) and a Reduce() procedure that performs a summary operation (such as counting the number of students in each queue, yielding name frequencies). The "MapReduce System" (also called "infrastructure" or "framework") orchestrates the processing by marshalling the distributed servers, running the various tasks in parallel, managing all communications and data transfers between the various parts of the system, and providing for redundancy and fault tolerance
-
Não entendi essa da banca de afirmar "funções Map e Reduce devem ser criadas", as mesma já existem na linguagem funcional tipo scala.
-
- Map-reduce é um padrão que permite que computações sejam paralelizadas em um cluster.
- A tarefa de mapeamento lê dados de um agregado e os agrupam pares de chave-valor relevantes. Mapeamentos somente leem um único registro de cada vez e podem, assim, ser paralelizados e executados no nodo que armazena o registro.
- A tarefa (reduce) recebe muitos valores de uma única chave de saída, a partir da tarefa de mapeamento, e os resume em uma única saída. Cada redutora trabalha sobre o resultado de uma única chave, de modo que podem ser paralelizados por chave.
- Operações de map-reduce podem ser composta em pipelines, nas quais a saída de uma redução é a entrada do mapeamento de outra operação.
- Se o resultado de uma computação map-reduce for amplamente utilizado, pode ser amazenado como uma visão materializada.
- Visões materializadas podem ser atualizadas por meio de operações map-reduce que apenas computem alterações na visão, em vez de computar novamente tudo desde o início.
Fonte: livro NoSQL Essencial - Pramod J.Sadalage/Martin Fowler
-
Certo. O MapReduce é um modelo de programação. O framework fornece as ferramentas para que os usuários criar suas aplicações segundo o modelo, o que inclui criar as funções map e reduce adequadas para suas aplicações específicas.
É importante fazer essa distinção, pois há quem pense que o MapReduce é um sistema pronto para ser utilizado em qualquer cenário, sem a necessidade de se realizar essa programação.
-
MapReduce é a forma de programação usada no Big Date, existem outras formas.
MapReduce --> Estrutura paralela de processamento.
Etapas:
MAP (Mapeamento): Nó mestre obtém entradas e particiona em problemas menores e distribui para nós funcionais.
Reduce (Redução): Nó mestre leva respostas dos subproblemas, combina e produz uma saída.
Recebe arquivos CSV.
Node Slave: ''Armazenamento''
Node Master: ''Gerenciamento"
Sistema de arquivo do MapReduce: ''HDFS''
Perseverança!
-
CERTO
É a mesma aplicação utilizada pelo twitter.
Ela trabalha em cima do HDFS para oferecer processamento paralelo
Como o twitter consegue organizar os 3 top do mundo?
Mapea a informação e reduz realizando agrupamento por chaves-valor.
-
CERTO
MapReduce (Hadoop)
Map = processa os DADOS DE ENTRADA
Reduce = gera os resultados, as SAÍDAS
- é um modelo de programação que permite o processamento de dados massivos em um algoritmo paralelo e distribuído, geralmente em clusters (conjunto de servidores)
- oferece um modelo de programação com processamento por meio de uma combinação entre chaves e valores
- possui grande poder de ARMAZENAMENTO e PROCESSAMENTO de todos os tipos de dados
- possui software open-source (código aberto)
- é usado no Big Data, pois possui escalabilidade, durabilidade e disponibilidade
- Custo é baixo: estrutura gratuita
Desvantagens:
- Não é eficiente para tarefas de inteligência analítica iterativas e interativas (computação analítica avançada)
- Problema de segurança com os dados fragmentados