Cuidado, o centro O da circunferência não está no centro do quadrado, isso ocorreria caso ele estiver dentro dela de forma uniforme, nesse caso ele está "um pouco mais para cima"
Assim, dá para formar um triÂngulo:
altura: centro circunferência até o lado do quadrado
cateto 1: raio
cateto 2: metade do lado do quadrado
altura= (2 - r)
cateto 1: r
cateto 2: 1
aí é só fazer pitágoras
r² = 1² + (2-r)²
r² = 1 + 4 - 4r + r²
--------------------------- corta os r²
0 = 5 - 4r
-5 = -4r
r = 5/4