杜牧曾因仕途失意，长期飘泊南方，“倚遍江南寺寺楼”。其中云门寺在唐代高僧荟萃，佛教禅宗六祖惠能在曹溪说法，云门寺高僧善现住持曾事之。水西寺即天宫水西寺，是宣州泾县水西山中很有名的一座寺院，寺中“凡十四院，其最胜者曰华岩院，横跨两山，廊庑皆阁道，泉流其下”（《江南通志》）。李白曾到此游览，并题有《游水西简郑明府》一诗。《念昔游三首》是杜牧在若干年后追忆那次游踪而写的组诗。