Albini “como que estafó” a la pequeña discográfica Fever Records para

Albini “como que estafó” a la pequeña discográfica Fever Records para que financiaran el próximo EP de Big Black, llamado Bulldozer . ​ ​ Albini consiguió su típico sonido de guitarra clank usando uñetas de metal, junto al mástil de su guitarra Travis Bean, que era de aluminio . También es notable la inclusión del baterista Pat Byrne, de Urge Overkill , para acompañar a Roland en las labores de batería. ​ Bulldozer fue grabado con el ingeniero de sonido Ian Burgess y fue lanzado en diciembre de 1983, con las primeras doscientas copias empacadas en un paquete de metal galvanizado, en honor al álbum de Public Image Ltd. Metal Box . ​ ​ ​ Muchas letras del álbum hablaban sobre experiencias de Albini en su infancia: “Cables” habla sobre un grupo de chicos que conoció en Montana , quienes para divertirse veían como asesinaban vacas en un matadero , y “Pigeon Kill” describe un pueblo rural de Indiana que, ante una sobrepoblación de palomas , las alimentó con maíz envenenado. ​