Encontrei duas formas de resolve a questão:
a primeira mais simples testando as alternativas.
56 total
logo cada pessoa cumprimentará 56-1=55 pessoa
sendo assim
56*55= 3080, no entanto este número não está nas alternativas, pois ele contabiliza o aperto de mão de A com B e de B com A.
Portanto 3080/2 =1540
56 pessoas.
A outra maneira é mais metódica.
usaremos a fórmula da combinação.
n!/2!*(n-2)!=1540
abrindo a equação:
n*(n-1)*(n-2)! / 2*1*(n-2)! =1540
Cancelemos o (n-2)! do denominador com o do numerador.
n*(n-1)/ 2*1 =1540
n^2-n=3080
n^2-n-3080=0
equação do 2°
(-1)^2-4*1*(-3080)=delta
1+12320=delta
12321=delta
x= 1+ou- raiz de 12321/2*1
raiz de 12321=111
x=1+111/2
x=112/2
x=56