刘禹锡有《 寄毗陵杨给事》 ，诗中说：“曾主鱼书轻刺史，今朝自请左鱼来。青云直上无多地，却要斜飞取势回。”根据写诗的时间考证，杨给事可能是指杨虞卿。据考证，唐文宗在大和七年，用李德裕当了宰相，跟他谈论朋党的事。当时任给事中为杨虞卿、萧澣，以及任中书舍人的张元夫依附掌握大权的显贵，向上触犯主管宫员，向下干扰下级官吏，皇上听说后，很厌恶他们，于是让杨虞卿离京去做常州刺史，萧淤做郑州刺史，张元夫做汝州刺史。这三个人都是李宗闵的门客。后来有一天，皇上又说到朋党，李宗闵说：“我向来很了解他们，因此象杨虞卿这些人，我都不给他美官。”李德裕说：“给事中、中书舍人不是美官是什么？”李宗闵相顾失色。这样看来，杨虞卿当毗陵刺史，是被朝廷放逐的，刘禹锡还说成是自己请求，诗人的话难道可以相信吗？