O coeficiente de endogamia, F, para uma população pode ser definido como a fração de decréscimo na frequência de heterozigotos que resulta em um aumento das frequências dos homozigotos. Portanto, os genes de uma fração F dos 2pq heterozigotos serão transferidos para os homozigotos.
Além disso, dos 2 x 2pqF genes que saíram da subpopulação de heterozigotos para a subpopulação de homozigotos, metade deve ser de alelos A e metade de alelos a, isto é, 2pqF são alelos A e 2pqF são alelos a.
A frequência de Aa torna-se:
f(Aa) = 2pq – 2pqF
As frequências de AA e aa passam a ser:
f(AA) = p + pqF
f(aa) = q + pqF
Mas, para resolver a questão basta calcular pqF: (0,8) x (0,2) x 0,005
FONTE: https://edisciplinas.usp.br/mod/resource/view.php?id=3199403