Ya en 1980 la banda vuelve a Memphis para grabar su primer álbum con

Ya en 1980 la banda vuelve a Memphis para grabar su primer álbum con Chilton, el flamante Songs the Lord Taught Us . La gira que iban a dar por todos los Estados Unidos para presentar su nuevo lanzamiento se truncó porque Gregory dejó la banda, llevándose consigo la furgoneta con todo el equipo. En su tiempo se extendió la historia según la cual Gregory dejó a The Cramps para dedicarse al satanismo. Más tarde, en diversas entrevistas, Lux e Ivy reconocieron que esos rumores eran falsos y que la verdadera razón por la que Gregory dejó la banda fue su adicción a la heroína .