De acordo com o enunciado, a questão trata-se da criptografia assimétrica - RSA
RSA :
Faz uso extensivo das operações aritméticas usando a aritmética de módulo-n. Vamos revisar de maneira breve a aritmética modular. Lembre-se de que x mod n simplesmente significa o resto de x quando dividido por n, de modo que, por exemplo, 19 mod 5 = 4. Na aritmética modular, uma pessoa executa as operações comuns de adição, multiplicação e exponenciação. Entretanto, o resultado de cada operação é substituído pelo
resto inteiro que sobra quando o resultado é dividido por n.
Por que o RSA funciona?
A criptografia/decriptação do RSA parece mágica. Por que será que, aplicando o algoritmo de criptografia e,em seguida, o de decriptação, podemos recuperar a mensagem original? Para entender por que o RSA funciona,
tome de novo n = pq, onde p e q são os números primos grandes usados no algoritmo RSA.
Kurose - Redes de Computadores - Uma abordagem top down 6ed
O método RSA se baseia em alguns princípios da teoria dos números.
Redes de Computadores 5ed Tanenbaum
Algoritmos de chave simétrica: DES, 3DES, IDEA, Blowfish, Twofish, RC (2,4,5,6), CAST;
Algoritmos de chave assimétrica: RSA, ElGamal, Diffie-Hellman, Curvas elípticas.