Segue um excelente artigo para nunca mais esquecer as diferenças entre essas duas ações:
Distinções: AÇÃO RESCISÓRIA X AÇÃO ANULATÓRIA (querelas nullitatis)
“A ação anulatória tem processo e procedimento distinto dos da ação rescisória:
a) a ação rescisória é meio hábil para rescindir sentença que operou coisa julgada material, enquanto a ação anulatória é cabível para desconstituir ato praticado pelas “partes” em juízo e, se homologado por sentença, esta será “meramente homologatória”, não operando coisa julgada material;
b) a ação rescisória ataca a decisão homologatória, enquanto a ação anulatória é ajuizada contra o próprio ato praticado “pelas partes” em juízo, homologado ou não por sentença;
c) o fundamento da ação anulatória é fundado nas normas de direito material, enquanto a ação rescisória se restringe às hipótese previstas no art. 485 do CPC, norma eminentemente processual;
d) é pressuposto genérico, para a propositura da ação rescisória, que a sentença rescindenda tenha transitado em julgado (coisa julgada material), enquanto a propositura de ação anulatória para desconstituir ato praticado pelas “partes” em juízo tem por base a sentença “meramente homologatória”, que produz coisa julgada formal, não sendo, porém, esta sentença nos casos em que o “ato judicial” não depende de sentença), ao contrário do que ocorre com a ação rescisória, requisito essencial para propositura da ação anulatória;
e) à ação anulatória não se aplica o prazo decadencial de 2 (dois) anos, previsto para a ação rescisória (art. 495 do CPC), mas o da prescrição do direito material;
f) a ação rescisória visa a desconstituição de sentença trânsita em julgado, tendo sua decisão natureza constitutiva negativa, em razão do iudicium rescindens, que julga procedente o pedido, rescindindo a sentença, criando situação jurídica nova, diversa da anterior, e a decisão que julga improcedente o pedido de rescisão é declaratória negativa. [..]
(MAGRI, Berenice Soubhie Nogueira. Ação anulatória. Art. 486 do CPC. 2 ed. São Paulo RT, 2004, p. 325.)