"Em um quadrado de lado x": área do quadrado (Aq) = x*x = x²
"[...] quatro circunferências iguais tangentes entre si e tangentes aos lados do quadrado": imagine 1 quadrado com 4 circunferências dentro dele. Como a área da circunferência é igual a π*r², temos que multiplicar por 4 (pois são 4 circunferências). Além disso, o raio da circunferência é a mesma coisa que x/4 (o lado x do quadrado dividido por 4). Portanto:
área total das circunferências (Atc) = 4*(π*r)²
Atc = 4*(π*(x/4)²)
Atc = 4*(π*(x²/16))
Atc = 4*(π*x²)/16 {simplifique}
Atc = (π*r²)/4
"A função que define a área da região interna ao quadrado e exterior às quatro circunferências é": perceba que ele pede a diferença entre a área do quadrado e a área das quatro circunferências. Basicamente, é o que sobra dentro da figura descrita pelo enunciado. Portanto:
Aq - Atc = x² - (π*r²)/4 {Aplique a propriedade de subtração de frações}
Aq - Atc = (4x² - π*x²)/4 {Perceba que o x² está multiplicando 4 e π. Portanto, é possível deixá-lo em evidência}
Aq - Atc = ((4 - π)*x²)/4
GABARITO: B