源乾曜出身于鲜卑秃发氏。南凉国主秃发傉檀之子秃发破羌投降北魏，赐姓名为源贺。源贺生源怀，源怀生源子恭，源子恭生源彪，源彪生源师民。源师民是源乾曜的祖父，在隋朝官至刑部侍郎。

　　源乾曜父亲源直心，唐高宗年间官至司刑太常伯（即刑部尚书），后因罪被流放岭南，死于贬所。兄长源乾珍，史籍只载其名，生平事迹不详。

　　源乾曜生有四子：长子源复，官至华州刺史；次子源弼，官至工部郎中；三子源洁，官至河南县令；幼子源清，娶唐玄宗之女真阳公主，拜驸马都尉。