-
Padrão para pré-processar dados brutos
As soluções de big data são, em sua maioria, dominadas por sistemas Hadoop e
tecnologias baseadas em MapReduce, que são soluções simples de instalar para
processamento e armazenamento distribuídos. No entanto, a extração de dados a partir
de dados não estruturados, como imagens, áudio, vídeo, feeds binários ou até mesmo
texto, é uma tarefa complexa e precisa de técnicas como aprendizado de máquina e
processamento de idioma natural, etc. O outro grande desafio é como verificar a
precisão e a exatidão do resultado de tais técnicas e algoritmos.
Para executar a análise em quaisquer dados, eles devem estar em algum tipo de formato
estruturado. Os dados não estruturados acessados de várias fontes podem ser
armazenados como estão e, em seguida, transformados em dados estruturados (por
exemplo, JSON) e novamente armazenados nos sistemas de armazenamento de big data. O
texto não estruturado pode ser convertido em dados estruturados ou semiestruturados.
Da mesma forma, os dados de imagem, áudio e vídeo precisam ser convertidos nos
formatos que podem ser usados para análise. Além disso, a precisão e exatidão da
analítica avançada que usa algoritmos preditivos e estatísticos dependem da
quantidade de dados e algoritmos usados para treinar os modelos.
A lista a seguir mostra os algoritmos e atividades necessários para converter dados
não estruturados em estruturados:
Classificação de texto e documento Extração de recurso Segmentação de texto e imagem Correlacionamento de recursos, variáveis e tempos e, em seguida, extração dos
valores com o tempo Verificação de precisão do resultado usando técnicas como a matriz de confusão e
outras atividades manuais Os cientistas de dados podem ajudar na escolha das técnicas e algoritmos
adequados.
http://www.ibm.com/developerworks/br/library/bd-archpatterns4/
-
Sim. Isso se dá por meio do processo de ETL, na fase de Transformação que estrutura os dados de modo que eles possam ser consultados posteriormente.
-
correto
big data tambem lida com dados nao-estruturados (que nao seguem um tipo fixo. e.g.: emails, twatter posts etc). dados nao-estruturados podem ser somente compreendidos por pessoas, algo que data mining é geralmente falho.
-
Gab: CERTO
Isso mesmo. No passado, a maior parte dos dados era estruturada e podia ser colocada em tabelas e relações. Hoje, 80% dos dados do mundo não se comportam dessa forma. Com o Big Data, mensagens, fotos, vídeos e sons, que são dados não-estruturados, podem ser administrados juntamente com dados tradicionais.
https://www.devmedia.com.br/big-data-big-table-e-nosql/26121
-
Gabarito: CERTO.
Para executar a análise em quaisquer dados, eles devem estar em algum tipo de formato estruturado.
Os dados não estruturados acessados de várias fontes podem ser armazenados como estão e, em seguida, transformados em dados estruturados (por exemplo, JSON) e novamente armazenados nos sistemas de armazenamento de big data.
O texto não estruturado pode ser convertido em dados estruturados ou semiestruturados. Da mesma forma, os dados de imagem, áudio e vídeo precisam ser convertidos nos formatos que podem ser usados para análise. Além disso, a precisão e exatidão da analítica avançada que usa algoritmos preditivos e estatísticos dependem da quantidade de dados e algoritmos usados para treinar os modelos.
A lista a seguir mostra os algoritmos e atividades necessários para converter dados não estruturados em estruturados:
Classificação de texto e documento;
Extração de recurso;
Segmentação de texto e imagem;
Correlacionamento de recursos, variáveis e tempos e, em seguida, extração dos valores com o tempo;
Verificação de precisão do resultado usando técnicas como a matriz de confusão e outras atividades manuais;
Exponencial Concursos.
-
(comumente)
CERTO.
-
Comentários:
Para executar a análise em quaisquer dados, dados não estruturados de fato devem estar em
algum tipo de formato estruturado.
-
Gabarito: Certo.
De maneira objetiva: Existem diversos dados soltos, dados sem correlação. Como a ideia do big data advém de pegar essa bagunça para gerar algo, é comum que se proceda, inicialmente, a um ajuste e transformação dos dados soltos em dados estruturados. Não fora cobrado pelo examinador, mas há, ainda, dados semi estruturados (XML, JSON, etc) que também estão compreendidos nesse processo.
Bons estudos!
-
Gab: CERTO
Para executar a análise em quaisquer dados, dados não estruturados de fato devem estar em algum tipo de formato estruturado.
Fonte: Estratégia concursos
-
GABARITO CORRETO
Big data compõe -se de dados estruturados e não estruturados, todavia, para realizar a ANÁLISE dos dados esses devem ser transformados em estruturados para que se tenha uma melhor extração de informações. O que não se confunde com o armazenamento dos dados no big data, que sendo no data warehouse, ou data lake, podem ser estruturados, não estruturados ou semi estruturados .
-
GABARITO CORRETO
Big data compõe -se de dados estruturados e não estruturados, todavia, para realizar a ANÁLISE dos dados esses devem ser transformados em estruturados para que se tenha uma melhor extração de informações. O que não se confunde com o armazenamento dos dados no big data, que sendo no data warehouse, ou data lake, podem ser estruturados, não estruturados ou semi estruturados .
-
comumente : com frequência, na maioria das vezes; habitualmente.
Cuidado com os comentários falando que DEVEM ser estruturados.
É perfeitamente possível extrair da questão que há a possibilidade de análise com dados não estruturados.
-
CERTO
COMPLEMENTANDO...
Informações estruturadas – aquelas que possuem algum padrão ou formato que pode ser usado na sua leitura e extração dos dados. Dados de bancos de dados, sistemas legados, arquivos texto (sejam csv, txt ou XML).
Informações não estruturadas – não possuem um formato padronizado para leitura, podem ser arquivos Word, Páginas de Internet/Intranet, Vídeos, áudios, entre outros.
-
BIG DATA é formado por dados estruturados e pela maioria não estruturados.
Estruturados são aqueles organizados em planilhas, colunas. São fáceis, já os não estruturados não são fáceis.
Data warehouse --> tomadas de decisões.
ETL --> extração, transforma, carga.
Por conseguinte, questão correta!
Perseverança!
-
Big data trabalha com dados não estruturados e consolida esse conteúdo de
forma que faça sentido para o usuário
-
dados não estruturados em dados estruturados, na minha visão Questão errada. Segue o jogo.
-
Analise é a ultima etapa, CERTO
-
Big data trabalha com dados não estruturados e consolida esse conteúdo de forma que faça sentido para o usuário.
Dados não estruturados são os que não possuem uma estrutura prévia definida, por exemplo, imagens, documentos e vídeos. As redes sociais são um exemplo de lugar que contém bastantes dados não estruturados, pois há muitos dados sendo criados e disponibilizado diariamente.
Big Data descreve uma nova geração de tecnologias e arquiteturas, projetadas economicamente para extrair valor de volumes muito grandes e vasto de dados, permitindo alta velocidade de captura, descoberta e análise.
Fonte: International Data Corporation.
Perseverança!
-
De maneira geral, big data não se refere apenas aos dados, mas também às soluções tecnológicas criadas para lidar com dados em volume, variedade e velocidade significativos.
-
"Em soluções Big Data, a análise dos dados comumente precisa ser precedida de uma transformação de dados não estruturados em dados estruturados."
Complementando o comentário do colega Ademastor, o que tornou o gabarito correto foi o termo "comumente" ao invés de termos restritivos como "obrigatoriamente", "necessariamente". Diversas novas e incipientes tecnologias são movidas pelo desafio de lidar com dados não-estruturados e semi-estruturados, que são a maior parte dos dados produzidos atualmente.
Tecnologias como o NoSQL (software de banco de dados não apenas estruturados), o Hadoop (software usado pelos big data analytics para lidar com dados de forma distribuída), MapReduce (técnica de programação usada pelo Hadoop para analisar os dados) são exemplos reais de que é possível analisar dados não-estruturados sem transformá-los previamente em estruturados.
-
Para executar a análise em quaisquer dados, eles devem estar em algum
tipo de formato estruturado. Os dados não estruturados acessados de várias
fontes podem ser armazenados como estão e, em seguida, transformados em
dados estruturados (por exemplo, JSON) e novamente armazenados nos
sistemas de armazenamento de big data. O texto não estruturado pode ser
convertido em dados estruturados ou semiestruturados. Da mesma forma, os
dados de imagem, áudio e vídeo precisam ser convertidos nos formatos que
podem ser usados para análise. Além disso, a precisão e exatidão da analítica
avançada que usa algoritmos preditivos e estatísticos dependem da quantidade
de dados e algoritmos usados para treinar os modelos. A lista a seguir mostra
os algoritmos e atividades necessários para converter dados não estruturados
em estruturados:
❖ Classificação de texto e documento;
❖ Extração de recurso;
❖ Segmentação de texto e imagem;
❖ Correlacionamento de recursos, variáveis e tempos e, em seguida,
extração dos valores com o tempo;
❖ Verificação de precisão do resultado usando técnicas como a matriz de
confusão e outras atividades manuais;
Gabarito: Certo.
-
GAB: CORRETO
HEURÍSTICA = descoberta do novo
Na clusterização as classe não são predefinidas (Não supervisionado)
-
GAB: CERTO
Com o Big Data, mensagens, fotos, vídeos e sons, que são dados não-estruturados, podem ser administrados juntamente com dados tradicionais.
- Dados estruturados: são armazenados em bancos de dados, sequenciados em tabelas.
- Dados semiestruturados: acompanham padrões heterogêneos, são mais difíceis de serem identificados pois podem seguir diversos padrões.
- Dados não estruturados: são uma mistura de dados com fontes diversificadas como imagens, áudios e documentos online.
-
Os comentários, incluindo o meu, não ajudam em nada.
Segue o baile
-
Certo, esta necessidade se dá pelo fato de que o dado estruturado facilita a análise e evita ou mitiga os falsos positivos decorrentes de dados redundantes ou ambíguos que vem da origem, garantindo a veracidade tanto do dado, quanto depois da informação gerada.
Comentário do professor Rogerão Araújo.
Falso negativo -> uma ação ilegítima que foi considerada legítima.
Falso positivo -> uma ação legítima que foi considerada malware pelo antivírus.
-
Fui pelo raciocínio lógico. O bigdata recebe um quantidade enorme de informações e dado, esses, muitas vezes, desorganizados e variados. Então o bigdata utiliza esses dados desorganizados (não estruturados) e os organiza.
-
Para executar a análise dos dados, os dados não estruturados realmente devem estar em algum
tipo de formato estruturado.
Fonte: Estratégia Concursos.
-
Gab: CERTO
Isso mesmo. No passado, a maior parte dos dados era estruturada e podia ser colocada em tabelas e relações. Hoje, 80% dos dados do mundo não se comportam dessa forma. Com o Big Data, mensagens, fotos, vídeos e sons, que são dados não-estruturados, podem ser administrados juntamente com dados tradicionais.
-
Big data
- Refere-se aos dados e soluções técnicas
- Trata -se dos dados brutos até transforma-los em insights
- Identifica as anomalias nos registros e a análise de conjuntos de dados
- Lida com os dados estruturados E não estruturados QC: As soluções de big data focalizam dados que já existem, descartam dados não estruturados e disponibilizam os dados estruturados.(E)
- para realizar a ANÁLISE dos dados esses devem ser transformados em ESTRUTURADOS para que se tenha uma melhor extração de informações
-
"precisa ser precedida" me quebrou !!
- > Big Data também poderia ser considerado como Any Data (qualquer dado), hoje temos capacidade de capturar e analisar dados estruturados e não estruturados.
Logo, por que esse PRECISA SER PRECEDIDA ???