宋顺帝升明初年，萧道成（后为齐高帝）辅政时，荆州刺史沈攸之忠于宋，举兵反对萧道成。萧道成询问江淹，江淹向他陈说萧道成必胜而沈攸之必败的五条原因。第二年沈攸之果然战败自杀身亡，江淹也因此而甚得齐高帝赏识。齐东昏侯永元年间，崔慧景造反，率叛军围困京城建康，城内士族官僚纷纷投身于叛军门下，只有江淹称病不往。崔慧景很快兵败，众皆服江淹有远见。后来萧衍带兵至新林（今江苏省南京市西南），士族官僚对他并没有看好，人人安之若素，而江淹却脱去官服，投奔萧衍。后萧衍称帝，江淹得到重用。

　　江淹为官清正，不避权贵，直言敢谏。宋后废帝刘昱即位“多失德”，刘景素又偏听偏信左右之言，政局岌岌可危。江淹从容直谏，刘景素怒而不纳，江淹赠十五首以讽谏。江淹任御史中丞时，弹劾中书令谢朏、司徒左长史王缋、护军长史庾仲远。也曾奏前益州刺史刘悛、梁州刺史阴智伯有脏物宝货成千上万，并拘捕了他们，交朝廷治罪。其他被检劾论治的违法官员更是不胜枚举。齐明帝曾当面称赞江淹：“从宋代以来，不曾有严明的御史中丞，君今天可说近代独一无二了。”