A banda gravou o álbum Oddities, Abnormalities and Curiosities que

A banda gravou o álbum Oddities, Abnormalities and Curiosities que foi lançando no verão de 1995. Uma das músicas do álbum era um cover do The Soft Boys , tocando a música “I Wanna Destroy You” com backing vocal da cantora e compositora pop, Deborah Gibson , que tinha recém gravado um álbum solo com o mesmo produtor do Circle Jerks. Ela também apareceu de surpresa em uma apresentação da banda no CBGB’s em Nova York com a música “I Wanna Destroy You”, despertando bastante atenção pelas suas performances. Pagaram para ela participar de uma turnê de 3 semanas. Logo após isso a banda separou-se novamente, voltando apenas mais tarde, porém sem Keith Clark, que deixou a banda e a música de vez. Em 1996, Roger Rogerson (baixista da primeira formação) morre vítima de overdose.