熙宁七年（1074）十月，苏轼从杭州通判升任密州知州，一路上，不断与朋友聚会，饮酒赋诗，非常痛快。行到润州（今江苏镇江），与朋友孙洙（字：巨源）相遇，据《东坡词》引《本事集》云，这次他们又约上王存（字：正仲），同登多景楼，座中还有官妓胡琴弹曲助酒。孙洙对苏轼说：“残霞晚照，非奇才不尽。”苏轼欣然命笔，做成此词。