Vuonna 1980 yhtyeen viiden kappaleen live-EP ”Too Much Too Young” oli

Vuonna 1980 yhtyeen viiden kappaleen live-EP ”Too Much Too Young” oli ykkösenä Britannian singlelistalla ja yhtyeen nimenä oli jälleen The Special AKA. Kakkosalbumi More Specials (1980) julkaistiin jälleen The Specials-nimellä. Se nousi albumilistan viidenneksi. Seuraavan vuoden ”Ghost Town” ei ollut albumilla, se nousi listakärkeen. Pian tämän jälkeen Neville Staple, Terry Hall ja Lynval Golding jättivät yhtyeen ja perustivat Fun Boy Threen . Dammers muutti yhtyeen kokoonpanoa, ja siihen liittyivät laulajat Stan Campbell ja Rhoda Dakar. Nimeksi vaihtui jälleen The Special AKA. Uudella kokoonpanolla julkaistiin albumi In the Studio vuonna 1984. Albumi ei menestynyt kaupallisesti kovin hyvin, mutta kappaleista ”Racist Friend” ja ”Nelson Mandela” tuli hittejä. Jälkimmäinen (tunnettu myös nimellä ”Free Nelson Mandela”) nosti Nelson Mandelan kuuluisuuteen Isossa-Britanniassa, ja siitä tuli suosittu apartheidin vastaisessa liikkeessä. Tämän jälkeen Dammers hajotti yhtyeen ja siirtyi mukaan politiikkaan.