Abans de gravar sota l’àlies Neutral Milk Hotel, Mangum va gravar com

Abans de gravar sota l’àlies Neutral Milk Hotel, Mangum va gravar com a mínim un casset sota el nom Milk: la cinta anomenada Pygmie Barn in E Minor ( 1989 ) . Inclou les primeres gravacions reconegudes que Magnum va iniciar i executar tot sol. Se suposa que només existeixen una dotzena de còpies d’aquest casset, cap de les quals s’ha fet pública. A través dels fòrums d’Elephant 6 s’ha revelat l’existència d’altres gravacions d’aquella època, com el casset Beauty ( 1990 ).