Największym sukcesem artystycznym Budgie stała się trzecia płyta

Największym sukcesem artystycznym Budgie stała się trzecia płyta długogrająca Never Turn Your Back on a Friend (1973), wyprodukowana przez zespół, na której znalazły się m.in.: Breadfan (w 1988 r. nagrany przez Metallikę ) oraz przeróbka bluesa z 1935 r. Baby, Please Don’t Go . Ten album uważany jest dziś przez krytyków za jedno z największych osiągnięć hard rocka i heavy metalu w ogóle, a zamykająca go monumentalna ballada Parents , napisana przez basistę przed powstaniem zespołu, stawiana jest często w jednym rzędzie z najciekawszymi utworami ówczesnej światowej czołówki muzyki rockowej. Parents opowiada o problemach pokoleniowych. Mimo to Never Turn Your Back on a Friend sprzedało się w niewiele większej liczbie egzemplarzy niż dwa pierwsze albumy. Równocześnie na limitowanej płycie promocyjnej dla stacji radiowych pojawił się 40-minutowy materiał Budgie In Concert .