Mit Michael Stipe war Sweet als Duo mit dem Namen Community Trolls

Mit Michael Stipe war Sweet als Duo mit dem Namen Community Trolls unterwegs. Außerdem gründete er mit dem Oh-OK-Schlagzeuger David Pierce ein weiteres Duo, The Buzz of Delight . Die beiden nahmen 1983 die Single Christmas auf und veröffentlichten im folgenden Jahr die EP Sound Castles mit sechs Titeln bei DB Records. Sweet und Pierce waren sehr produktiv. Sie schrieben und nahmen weitere Lieder auf, die erst viele Jahre später veröffentlicht wurden – so etwa die fünf auf der 2002 erschienenen Kompilation To Understand: The Early Recordings of Matthew Sweet .