其父虞荔，兄虞世基，叔父虞寄，均名重一时。虞寄无子，世南过继于他，故字伯施。

　　仕隋为秘书监，赐爵永兴县子，世称“虞永兴”或“虞秘监”。授青光禄大夫，谥文懿。沉静寡欲，精思读书，至累旬不盥栉。文章婉缛，见称于仆射徐陵，由是有名。在隋，官秘书郎，十年不徙。入唐，为秦府记室参军，迁太子中舍人。太宗践祚，历弘文馆学士、秘书监。卒谥文懿。太宗称其德行、忠直、博学、文词、书翰为五绝。手诏魏王泰曰：“世南当代名臣，人伦准的，今其云亡，石渠、东观中无复人矣。”其书法刚柔并重，因是近臣，故侍宴应诏的作品较多。代表作有《出塞》、《结客少年场行》、《怨歌行》、《赋得临池竹应制》、《蝉》、《奉和咏风应魏王教》等。其中后三首咏物（即《赋得临池竹应制》、《蝉》、《奉和咏风应魏王教》）分别写竹、蝉和风，紧紧抓住对象特点，刻画得相当传神，例如《蝉》诗写蝉饮清露，栖（梧桐）高处，声因高而远，而非是依靠秋风，寓意君子应象蝉一样居高而声远，从而不必凭借、受制于它物。世南描摹状物、托物言志之功夫可见一斑矣。集三十卷，今编诗一卷（全唐诗上卷第三十六）。