Some Old Bullshit verzamelt de vroegste opnames van de Beastie Boys, uit de jaren dat ze een hardcoreband uit New York waren. Het gaat om de ep Polly Wog Stew uit 1982 en de Cooky Puss-ep uit 1983, die laatste gebouwd rond een telefoongrap met een ijssalon en hun eerste geknutsel met samples. In die bezetting speelden Michael Diamond, Adam Yauch, John Berry en drummer Kate Schellenbach. De compilatie kwam oorspronkelijk uit in 1994, ruim nadat de groep op rap was overgestapt, en bestaat uit snelle punknummers van amper een minuut. Deze uitgave is een lp op wit vinyl, uitgebracht voor Record Store Day.