Keep Moving was het vijfde studioalbum van Madness en het laatste met toetsenist Mike Barson, die kort daarna uit de band stapte. De opnames leunen zwaarder op blazers en soulinvloeden dan het vroege ska-werk. Bekendste nummer is Michael Caine, waarop de acteur zelf zijn naam inspreekt. One Better Day sluit het album af met een rustig portret van twee daklozen rond Arlington House in Camden, de buurt waar de band vandaan komt. Clive Langer en Alan Winstanley produceerden opnieuw. Het album verscheen oorspronkelijk in 1984 via Stiff Records.

Deze uitgave is een lp.