Esses conceitos estão atrelados às diversas técnicas de mapeamento de portas (varredura), existentes. A maioria delas acaba explorando vulnerabilidades intrínsecas da estrutura do protocolo TCP, como a forma de abertura e estabelecimento de conexão, métodos de controle da conexão, entre outros. Outros protocolos também acabam sendo utilizados.
Uma ferramenta muito utilizada para este fim é o NMAP. Mais informações podem ser obtidas no link:https://nmap.org/man/pt_BR/man-port-scanning-techniques.html
No caso da questão, temos a explicitação de três técnicas muito comuns, apesar de também já serem detectados por firewalls mais avançados. No caso da RST, caso chegue um pacote com a flag RST marcada e a porta está fechada, a RFC do TCP define que deverá ser enviado uma resposta com um novo RST. Caso contrário, deve-se descartar o pacote.
Já com o SYN-ACK, esse conjunto é tipico de resposta de uma tentativa de abertura de conexão para portas abertas no ato de estabelecimento de conexão. As demais flags podem ser utilizadas para se gerar uma infinidade de possibilidades de varreduras de portas.
Em relação aos pacotes de respostas DNS, vale lembrar, que em regra, são do tipo UDP e que também podem ser utilizados para mapeamento de portas. O DNS é muito utilizado para varredura de rede.
http://www.estrategiaconcursos.com.br/blog/stj-comentarios-da-prova-de-aa-ti-redes/