Esta é uma questão que sai por integral por partes.
Chama secx de u e sec^2x de dv.
\int udv = uv - \int vdu
u = sec x
du = tgxsecxdx
dv = sec^2x
v = -tgx
\int sec^3xdx = tgxsecx - \int tg^2x secx dx
tg^2x = sec^2x - 1
\int sec^3xdx = tgxsecx - \int secx(sec^2x - 1) dx
Integrando por partes a integral do segundo membro, ficamos com:
\int sec^3xdx = tgxsecx - (\int sec^3xdx - ln|secx + tgx|) + C
2\int sec^3xdx = tgxsecx + ln|secx + tgx| + C
E, portanto,
\int sec^3xdx = 1/2tgxsecx + 1/2ln|secx + tgx| + C