父亲：杨雄，隋朝司空、观王。

兄长：杨恭仁，官至中书令。

兄长：杨续，官至郓州刺史。

妻子：长广公主，唐高祖第五女，初封桂阳公主，先嫁赵慈景，后嫁杨师道。

儿子：杨豫之，娶齐王李元吉之女寿春县主，因与永嘉公主私通，被驸马窦奉节所杀。