Dead Letter Office bundelt B-kanten en niet eerder uitgebrachte opnamen die R.E.M. tussen 1982 en 1987 maakte, en verscheen oorspronkelijk in 1987 op I.R.S. Records. Naast eigen nummers als Ages Of You en Burning Down staan er covers op die laten horen waar de band naar luisterde: drie nummers van The Velvet Underground, Toys In The Attic van Aerosmith, King Of The Road van Roger Miller en Crazy van stadsgenoten Pylon. Gitarist Peter Buck schreef bij elk nummer een korte, zelfspottende toelichting in het boekje. Het album haalde nummer 52 in de Verenigde Staten en nummer 60 in het Verenigd Koninkrijk. Deze uitgave is een lp.