Na verdade o shell não é uma parte gráfica, é comum a confusão, o shell e um interface entre o usuário e o sistema operacional que também é conhecida como o interpretador de comandos (shell), na verdade o shell não faz parte do sistema operacional, olha o que o Tanebaum fala a respeito do shell:
O sistema operacional é o código que executa as chamadas de sistema. Editores, compiladores, montadores, ligadores (linkers), programas utilitários e interpretadores de comandos (shell) definitivamente não fazem parte do sistema operacional, mesmo que sejam importantes e úteis. Embora não faça parte do sistema operacional, ele faz um uso intensivo de muitos aspectos do sistema operacional e serve assim como um bom exemplo de como as chamadas de sistema são usadas. Ele também é a principal interface entre um usuário sentado no seu terminal e o sistema operacional, a não ser que o usuário esteja usando uma interface de usuário gráfica.
Dessa forma, o shell independe da interface gráfica, na verdade a interface gráfica transforma os comandos graficos em comandos de shell que são enviados ao sistema operacional, a interface gráfica pode ou não existir e serve apenas para facilitar a vida do usuário com menos conhecimento.
Sistemas Operacionais Modernos, 4° ed, Tanebaum.