1511年（明朝正德六年），杨慎获殿试第一。1524年因得罪世宗朱厚熜，杨升庵被发配到云南充军。他戴着枷锁，被军士押解到湖北江陵时。正好，一个渔夫和一个柴夫在江边煮鱼喝酒，谈笑风生。杨升庵突然很感慨，于是请军士找来纸笔。写下了这首《临江仙》。