Tudo isso são elementos da teoria da informação ou teoria matemática, na qual o objetivo é transmitir informações ao receptor sem ruídos. "Ruídos, como assim?" Sim, ruídos. Acontece isso muitas vezes no seu dia a dia, quer ver? Por exemplo, em uma conversa telefônica com falhas na ligação, ou em uma página da internet que você se encontra assistindo a um vídeo e de repente começa a falhar o sinal da conexão. Tudo ruído. Mas então, com base nessa teoria da informação, podemos analisar dois conceitos importantes: entropia e redundância. A entropia é a medida do grau de desordem, desorganização de um sistema de comunicação, a falta de previsibilidade, o que resulta na incerteza, ou seja, na falta de conhecimento de um determinado assunto. Logo, encontram-se o que em uma mensagem entrópica? Exatamente, ruídos. Enquanto na redundância isso já não acontece, pois a mesma é o oposto da entropia e apresenta uma elevada previsibilidade. Porém, chegamos então a uma conclusão: para que uma mensagem chegue ao receptor de forma compreensível e organizada, devemos recorrer a redundância, já que ela não tem ruídos e os mesmo são indesejáveis na comunicação, além de que esse é o objetivo da teoria matemática.
http://incomuniq.blogspot.com/2011/10/entropia-redundancia-quanta-informacao.html