In de zomer van 1999 werd tijdens een tournee vrijwel het complete gitaarpark van Sonic Youth gestolen, inclusief de in de loop der jaren opgebouwde instrumenten met hun eigen stemmingen. NYC Ghosts & Flowers, oorspronkelijk uitgebracht in 2000 via Geffen, ontstond daarna op nieuw materiaal, opgenomen met Jim O'Rourke, die rond die tijd als vijfde lid toetrad. De teksten leunen op de New Yorkse beatpoëzie, met gesproken passages en de cadans van voordracht in plaats van refreinen; het hoesschilderij is van William S. Burroughs. Pitchfork-recensent Brent DiCrescenzo gaf het album destijds een 0.0, de eerste die hij ooit uitdeelde. Deze uitgave is een lp.