1981年4月、メンバーはアトキンスを呼び戻し、新しいベーシストを迎えることなく、『フラワーズ・オブ・ロマンス』を発表 。
1981年に3枚目のアルバム「Penis Envy」をリリースした。これは ハードコアパンク 風のアルバムだった。ファーストアルバムはクラスをグループに変えた。 イヴ・リバティーンとジョイ・デ・ヴィヴールによって、より複雑なアレンジと女性ヴォーカルをフューチャーできるようになった。 アルバムは「 結婚 」と「性的抑圧」を攻撃する フェミニスト の問題に取り組んだ 。
しかし、ここで最初の不協和音と困難がバンドを襲う。かねてからプロモーションとツアー活動に不満を漏らしていたヴィンスが 1981年 に脱退してしまう 。作詞作曲を手がけていたヴィンスの脱退はバンドにとってダメージとなったが、『ニュー・ライフ』で「Tora! Tora! Tora!」と「Big Muff」の2曲を手がけたマーティンが代わりに作詞作曲を担当することでバンドを存続させ、この件がマーティンの才能を開花させるきっかけとなった。
RAINBOW #7（1980年11月 – 1981年 11月）
RAINBOW #6（1980年8月 – 1980年11月）
1980年 に解散し 、コリン・ニューマンはソロ活動を開始。シングルやアルバムを精力的にリリースする。ルイスとギルバートは ドーム を結成し アンビエント・ミュージック 、 インダストリアル・ミュージック にのめり込んだ。
1980年代のつぎのシングル曲「Bloody Revolutions」はポイズン・ガールズ の慈善リリースで、「 Wapping Autonomy Center 」の資金として2万ポンドを調達した。歌詞は、革命闘争の伝統的な マルクス主義 観に対する アナーキスト – 平和主義 の視点からの批判であり、1979年9月にふたつのバンドがパフォーマンスをした、ロンドンのコンウェイ・ホールでの暴力に対する反応であった。このショーは、陰謀告発に直面しているアナキストのグループである「人物不明―Persons Unknown」のための利益として意図された。パフォーマンスの間、社会主義の労働者党支持者やその他の反・ファシストたちは、 ネオ・ナチス を襲い、暴力を引き起こした 。
1980年代の末には アシッド・ハウス が生まれ、コリンと1987年に加入したウィル・シノットは夢中になっていた。そして、1989年にセカンド・アルバム『In Gorbachev We Trust』（ジャケットは ミハイル・ゴルバチョフ の写真）をリリースした。
1980年代には、シャックロックが イット・バイツ のプロデュースを手がけている。
1980年の6月、マッギーはイネスの誘いで ロンドン へ上京した 。マッギーはグラスゴー時代と変わらず イギリス国鉄 で働き、同僚女性と結婚した。彼はイネスと自身のバンドで活動する傍らリヴィング・ルームというクラブイベントを主催し、次第にインディー界隈で名の知られる存在になっていった 。一方イネスは薬物中毒に陥った結果肝炎になり、後に肝臓を一つ摘出した 。