-
2.1.3 Limpeza dos Dados (Data Preparation)
A fase de preparação de dados consiste na preparação dos dados que visa a limpeza,
transformação, integração e formatação dos dados da etapa anterior. É a atividade
pela qual os ruídos, dados estranhos ou inconsistentes são tratados. Esta fase
abrange todas as atividades para construir o conjunto de dados final (dados que
serão alimentados nas ferramentas de mineração), a partir do conjunto de dados
inicial.
A utilização de Data Warehouses facilita em muito esta etapa do processo de
mineração de dados, que costuma ser a fase que exige mais esforço,
correspondendo geralmente a mais de 50% do trabalho. Por isso, é muito
importante para uma organização, que ela possua em seus processos habituais boas
práticas da administração de dados, como o Data Cleansing, que é uma parte
fundamental da cadeia da administração da informação, responsável pelas etapas de
detecção, validação e correção de erros em bases de dados [Chapman, 2005].
-
A fase de parsing
é um dos processos que ocorre na execução de instruções SQL. Busca garantir desempenho através de boas instruções, não envolve dados e sim os comandos executados.
Padronização dos
códigos SQL
De acordo com estudos de Paulo Henrique Silva, a padronização
dos scripts SQL tem um impacto muito grande e importante no desempenho do banco
de dados. Para entender o motivo de se ter uma padronização na escrita dos
códigos SQL e seu impacto na performance do servidor de banco de dados Oracle,
basta imaginar uma equipe onde cada um dos técnicos tem forma diferente de criar
scripts. O que pode acontecer num cenário como esse (e provavelmente
acontecerá) são duas instruções, que tem como objetivo a projeção de um mesmo
resultado, possuírem planos de execução diferentes, ou seja, realizando dois hard parses ao invés de reutilizar o
plano já compilado. Isso é muito comum na maioria das empresas, tendo em vista
que um simples espaço em branco na criação da consulta, ou se o script SQL foi
escrito em caixa alta ou baixa, diferencia duas instruções.
Visando aumentar o reuso dos planos compilados, ou seja,
aumentar o soft parse, criar na
política da empresa um padrão para escritas dos scripts de banco torna-se algo
muito útil para garantir um menor consumo de CPU e melhor alocação de memória
do servidor Oracle, o que tornaria o banco de dados mais performático.
http://raphaeloafernandes.blogspot.com.br/2013/03/parsing.html
-
Fase de Parse (Análise)
A Fase de Parsing é um dos estágios que ocorre no processamento das instruções SQL. Quando uma aplicação emite uma instrução SQL, ela na realidade emite uma chamada para o banco de dados e durante essa chamada há uma analise dessa instrução, ou seja verifica se realmente é possível extrair resultados dela. Nessa fase de analise, o Oracle:
- Verifica a instrução sql, sua sintaxe e valida a sua semântica
- Determina se o processo de emissão da instrução SQL tem a devida permissão para executá-la.
- Aloca uma área privada para a instrução SQL
http://www.profissionaloracle.com.br/gpo/servicos/easyblog/entry/2009/10/28/fases-de-processamento-de-instrucoes-sql
-
A questão abordou o conceito de ferramentas de ETL (extração, tranformação e carga)
-
Para quem não entende os comentários sem o gabarito e não tem acesso a resposta.
Gaba: ERRADO
-
Gabarito: ERRADO
Determinar que tipo de ferramentas de qualidade de dados sua organização precisa depende de quão sofisticada é sua estratégia de qualidade de dados. Para algumas empresas, uma abordagem simples de qualidade de dados pode ser adequada, mas outras organizações podem precisar de um nível muito avançado de precisão e gerenciamento de dados.
Uma das funcionalidades existente em ferramentas de qualidade de dados é chamada de parsing. Ferramentas de parsing fornecem um formato consistente que permite melhor consolidação e consistência de dados, permitindo uma padronização dos dados. Essas ferramentas ajudam a formatar valores de dados com base em padrões da indústria, locais ou definidos pelo usuário.
Frequentemente, espera-se que os valores dos dados estejam em conformidade com os formatos e estruturas esperados, mas pequenas variações nos valores dos dados podem confundir tanto os indivíduos quanto os aplicativos automatizados. Por exemplo, considere esses diferentes valores de dados, cada um deles se referindo ao mesmo conceito de dados (a entidade política conhecida como estado da Califórnia): {California, CA, Calif., US-CA, Cal, 06}. Alguns desses valores usam caracteres, outros usam dígitos e alguns usam pontuação ou caracteres especiais. Na maior parte, pode-se ler isso e reconhecer que todos representam o estado da Califórnia, mas automatizar o processo de determinar se esses valores são precisos ou semelhantes requer que os valores sejam analisados em seus segmentos de componentes e, em seguida, transformados em um formato padrão. Essa é a funcionalidade de parsing.
Dito isso, perceba que nada se falou sobre limpeza de dados. A funcionalidade existente em ferramentas de qualidade de dados responsável pela limpeza de dados chama-se data cleansing. A limpeza de dados é o processo de detecção e correção (ou remoção) de registros corrompidos ou imprecisos de um conjunto de registros, tabela ou banco de dados e se refere à identificação de partes incompletas, incorretas, imprecisas ou irrelevantes dos dados e, em seguida, substituindo, modificando, ou excluindo os dados sujos ou grosseiros. Logo, a afirmativa da questão está incorreta.
-
O ato de parsear/parsing nada mais é do que "tranformar" do tipo A (inconsistente) para o tipo B( consistente). Basicamente isso, de forma leiga.
-
cadê todos os adeptos do Nishimura agora?!