出身世族，自天宝十年(751)至天宝末年，入宫为三卫郎。安史之乱后，玄宗奔蜀，他流落失职，始立志读书。大历十三年(778)任鄂县令，历任洛阳丞、县令、滁州刺史、江州刺史、苏州刺史，罢官后，闲居苏州诸佛寺。世称“韦左司”、“韦苏州”。他的歌在唐代已有胜誉，白居易在《与元九书》评价其：“近岁韦苏州歌行才丽之外，颇近兴讽。”以王、孟、韦、柳并称。一生好书，其藏书之事迹，史不多载，今据其《燕居即事》一诗中称“燕居日已永，夏木纷成结。几阁积群书，时来北窗阅。”可见其藏书颇具规模，且攻读之勤。