Toen Russ in januari 2003 bezig was in The Blasting Room om het Good

Toen Russ in januari 2003 bezig was in The Blasting Room om het Good Riddance-album Bound by Ties of Blood and Affection op te nemen, vroeg hij aan producer en drummer Bill Stevenson om voor zijn nieuwe band te gaan drummen. De band nam in 2003 een demoalbum op en stuurde dit album op naar twee platenlabels. In februari 2004 begon de band te werken aan nieuw materiaal en aan het opnemen van meer demo’s om die naar andere labels te sturen. Only Crime speelde haar eerste show op 15 februari 2004 en tekende een contract bij het label Fat Wreck Chords in april dat jaar. Het debuutalbum was getiteld To the Nines en werd uitgegeven op 12 juli 2004.