Tornant una vegada més al nom The Specials, el segon àlbum de la

Tornant una vegada més al nom The Specials, el segon àlbum de la banda, More Specials , no va tenir tant d’èxit comercial i es va gravar en un moment en què, segons Hall, els conflictes havien estat presents a la banda. Les veus de suport femenines en els dos primers àlbums d’estudi dels Specials incloïen: Chrissie Hynde ; Rhoda Dakar (aleshores de the Bodysnatchers i més tard de l’ Special AKA ); i Belinda Carlisle , Jane Wiedlin i Charlotte Caffey del grup The Go-Go’s . En els primers mesos de 1981, la banda va prendre un descans de l’enregistrament i la gira, i després va llançar “Ghost Town”, un senzill que va arribar al número 1 el 1981. A la gravació de Top of the Pops , però, Staple, Hall i Golding van anunciar que abandonaven la banda. Golding va dir més tard: “No vam parlar amb la resta dels nois. Ni tan sols podíem estar al mateix vestuari. Ni tan sols ens podíem mirar. Vam deixar de comunicar-nos. Només t’adones de què llest va ser Jerry anys més tard. En aquell moment, estàvem en un planeta diferent”. Poc després, els tres van deixar la banda per formar Fun Boy Three .