Die ersten Aufnahmen machte die Gruppe als Begleitband von David

Die ersten Aufnahmen machte die Gruppe als Begleitband von David Ackles für dessen Debütalbum, das 1968 erschien. Noch im gleichen Jahr kam das erste Album Rhinoceros der Band selbst heraus. Trotz massiver Werbung und guter Kritiken verkaufte sich das Album nur schleppend. Doch die ausgekoppelte Single Apricot Brandy , ein von Weis und Fonfara geschriebenes Instrumentalstück, erreichte Platz 46 der Billboard-Charts , wurde später von der BBC als Erkennungsmelodie benutzt und 1990 von Danny Gatton gecovert. Der Song I Will Serenade You , geschrieben von John Finley, wurde von Three Dog Night als Let Me Serenade You gecovert und stieg 1973 in den USA bis auf Platz 17. Der Song You’re My Girl (I Don’t Want to Discuss It) , als Coverversion auf dem Rhinoceros-Debütalbum, wurde seinerseits 1969 von Amen Corner und 1970 von Rod Stewart gecovert. I Will Serenade You war 1968 die Debütsingle von Rhinoceros in den USA, während in Großbritannien You’re My Girl als Debütsingle erschien, ebenfalls 1968. B-Seite war der jeweils andere Song.