SMTP é usado quando o e-mail é entregue a partir de um cliente de e-mail a um servidor de e-mail ou quando o e-mail é entregue a partir de um servidor de e-mail para outro.
O IMAP tem acesso a todas as pastas de sua conta e deixa o status das mensagens igual tanto no servidor como no software e realiza a sincronia das mensagens, mantendo a conexão para que as alterações e mensagens novas recebidas sejam atualizadas quase que em tempo real.
O acesso via POP baixa as mensagens do servidor e salva as mesmas localmente em seu computador, não deixando uma cópia das mensagens no servidor – a menos que você marque a opção “deixar uma cópia no servidor” nas configurações do seu programa de e-mail. Esse protocolo tem acesso apenas à Caixa de Entrada, não conseguindo baixar nenhuma outra pasta de sua conta.
Fonte: https://www.kinghost.com.br/blog/2013/12/o-que-e-smtp-imap-e-pop-3-e-qual-a-diferenca/