Vamos por partes.
1- Dê um nome às raízes da equação. (x,y) No caso, tanto faz qual será a maior
2-Saber o que é uma média geométrica. Ex: media geométrica entre x e y. √ x.y . ( o índice do radical é igual à quantidade de elementos que você tem.
3- Montar a equação de acordo com o enunciado . x= √ m.y e y=√ n.x
4- Eleve ao quadrado e obtenha: x²= m.y ou m=x²/y | y²= n.x ou n=y²/x
5- Substitua m+n por x²/y + y²/x.
6- Faça o mmc entre os denominadores e encontre (x³+y³)/xy.
7- Agora utilize produtos notáveis para que possa realizar os cálculos de acordo com soma e produto. (x+y)³= x³+3x²y+3xy²+y³, então x³+y³= (x+y)³-3xy(x+y).
8- Agora só basta utilizar soma e produto para resolver a questão, cuja equação final encontra-se assim:
[(x+y)³-3xy(x+y)]/ x.y
Lembre-se x+y= -b/a e x.y=c/a
Abraço!