Tight: Este é o algoritmo exclusivo do Tight, que pode ser usado apenas quando tanto o cliente quanto o servidor utilizam a versão. O Tight oferece uma dupla compressão de dados, uma semelhante ao PNG, buscando pixels repetidos e substituindo-os por um único código, e uma segunda camada, baseada em um algoritmo de compressão desenvolvido pela equipe. É possível ativar, ainda, a compressão via JPG, estipulando um nível de perda.
Hextile: Este algoritmo é o usado pela versão tradicional do VNC. A imagem da tela é dividida em áreas de 16x16 pixels e apenas as áreas atualizadas vão sendo enviadas aos cliente de forma compactada. Este algoritmo é o que oferece o melhor balanço entre uso da rede e do processador. É recomendável para PCs acima de 233 MHz e redes locais de 10 ou 100 megabits. Este é o algoritmo que oferece respostas mais rápidas ao utilizar uma rede de 100 megabits e dois PCs relativamente atuais, a melhor opção se você deseja algo rápido o suficiente para rodar aplicativos de trabalho confortavelmente.
RRE: É um algoritmo mais simples de compactação, que se resume a substituir seqüências de pixels da mesma cor por um único valor, indicando apenas que o cliente deve repetir o pixel x vezes. É eficiente para visualizar menus, textos, etc., mas não para imagens. Não se esqueça de desativar o wallpaper :).
Zlib (pure): Usa o algoritmo Zlib para compactar as imagens, sem perda de qualidade. É o segundo mais eficiente em nível de compressão, perdendo apenas para o Tight. Apesar disso, a carga de processamento no Zlib é consideravelmente maior que a do Tight, mais que o dobro, em muitas situações. O Zlib continua disponível no Tight apenas para manter compatibilidade com o VNC tradicional, que não suporta o algoritmo Tight.
Raw: É o oposto do Tight. As imagens são enviadas via rede sem compressão alguma, minimizando a carga sobre o processador. Pode ser útil em redes de 100 megabits, mas com micros muito lentos, abaixo de 133 MHz. A quantidade de dados enviada através da rede é de 50 a 100 vezes maior que a do Tight (num dos testes publicados, uma sessão de 6:30 min em Raw totalizou um tráfego de 217 MB, contra apenas 3.3 MB usando o Tight), mas, em compensação, a carga de processamento é quase nula.
Mais em: http://www.hardware.com.br/livros/linux-redes/tightvnc.html