Albumul de debut al formației, Take This to Your Grave , a fost emis

Albumul de debut al formației, Take This to Your Grave , a fost emis de către Fueled By Ramen în mai 2003. Mai înainte, una dintre înregistrările mai vechi ale formației, Evening Out with Your Girlfriend , nu a fost lansată decât după Grave în martie 2003, când formația a obținut un impuls considerabil. „Albumul nostru a fost ceva foarte grăbit ca să generăm niște interest, dar acel interest era construit înainte să lansăm albumul”, a zis Sean Muttaqi. Formația a încercat să-i oprească pe cei de la Uprising din lansarea înregistrărilor (din cauză că relația trupei cu Muttaqi a devenit urâtă), formația văzându-le ca pe o „mare bucată de gunoi” înregistrată înainte de participarea lui Hurley pe care formația a încetat să o vadă ca pe album lor de debut. Treptat, numărul fanilor a început să crească după succesul albumului. Conform lui Wentz, show-urile au început să se termine scandalos iar grupul a fost interzis în unele locuri pentru că întreaga audiență ar ajunge pe scenă. Formația a primit recenzii pozitive concerte ulterioare la South by Southwest (SXSW) și alte aparențe în turnee. Formația s-a alăturat turneului Warped Tour pentru cinci dăți în vara anului 2004, iar odată formația a interpretat doar trei cântece când scena s-a prăbușit din cauza audienței foarte mari (au terminat cu o versiune a capella a piesei „Where Is Your Boy” cu audiența). Formația au ajuns pe coperta ediției din august 2004 a revistei Alternative Press , și Hot Topic a ajutat albumul parțial vânzând 2,000-3,000 de copii pe săptămână până la Crăciunul din 2004, când casa de discuri a considerat că formația a obținut mai mult succes.