Album debut mereka, Youth and Young Manhood, dirilis di Inggris pada

Album debut mereka, Youth and Young Manhood, dirilis di Inggris pada Juli 2003 dan di Amerika Serikat pada Agustus itu. Album ini direkam antara Sound City Studios di Los Angeles dan Shangri-La Studios di Malibu, California . Itu diproduksi oleh Angelo Petraglia dan Ethan Johns. Menurut majalah Rolling Stone, tampilan retro-chic band dan perpaduan boogie Selatan dan Garage rock yang kemudian membandingkan dengan Lynyrd Skynyrd dan The Strokes . Album ini menjadi sensasi di Inggris dan Irlandia, di mana NME mendeklarasikannya sebagai “salah satu album debut terbaik dalam 10 tahun terakhir” dan The Guardian menggambarkan band ini sebagai “jenis pemberontak asli dan berbulu yang diinginkan Rolling Stones” . Album ini masih gagal untuk membuat dampak yang signifikan di AS, di mana ulasan umumnya tidak terlalu baik dan penikmat musik rock modern umumnya tidak tertarik. Di Amerika Serikat, Youth and Young Manhood hanya terjual 200.000 eksemplar, dibandingkan dengan 750.000 eksemplar yang terjual ke luar negeri. Album kedua band, Aha Shake Heartbreak, dirilis di Inggris pada Oktober 2004 dan di Amerika Serikat pada Februari 2005. Dipengaruhi oleh musik garasi rock selatan dari album pertama mereka, album ini memperluas audiens domestik dan internasional band. Album ini kembali diproduseri oleh Angelo Petraglia dan Ethan Johns. “The Bucket”, “Four Kicks”, dan “King of the Rodeo” semuanya dirilis sebagai singel, dengan “The Bucket” masuk ke Top 20 tangga lagu di Inggris. “Taper Jean Girl” juga digunakan dalam film Disturbia 2007 dan film Cloverfield pada 2008. Band ini mendapatkan pujian dari beberapa rekan musisi rock mereka, termasuk Elvis Costello , dan mereka juga melakukan tur dengan U2 , Bob Dylan dan Pearl Jam selama tahun 2005 dan 2006.