《世说新语·容止篇》三十九则中两则描绘潘安的相貌：

　　《世说新语·容止第十四篇·七则》潘岳妙有姿容，好神情。少时挟弹出洛阳道，妇人遇者，莫不连手共萦之。左太冲绝丑，亦复效岳游遨，于是群妪齐共乱唾之，委顿而返。

　　《世说新语·容止第十四篇·九则》潘安仁、夏侯湛并有美容，喜同行，时人谓之“连璧”。

　　虽然说现有的正史并没有详细地去记载潘安的五官长相如何、身高具体几尺，但是他的花样俊美外形却是件不可置疑的事情，因为在那个时候他就已经成了焦点人物，“粉丝”众多。“安仁至美，每行，老妪以果掷之满车。“——刘孝标注引的《语林》

　　潘安是个多情的美男子、文人，所以后代骚人墨客吟作对总会把自己的满腹牢骚发泄，而潘安的那些典故成了他们最常用的，比如潘安三十余岁因为仕途不顺、妻子早逝白了头发，文人就吟道“多于贾谊长沙苦，小校潘安白发生。“潘郎何用悲秋色，只此伤春发已华。”潘安被贬为洛阳郊区的河阳县令，他命全县种桃花，浇花息讼，他走后老百姓都怀念他，文人就吟道“恐是潘安县，堪留卫玠车。”“潘令在河阳，无人死芳色。”“颍阳春色似河阳，一望繁花一县香。”“河阳看花过，曾不问潘安。”潘安的妻子杨蓉姬早逝，潘安伤悲的不再娶妻，每天都会想到她，文人吟道“为结潘杨好，言过鄢郢城。”当然文人最常提及的还是潘安掷果盈车的风流和金谷园里的二十四位文人美男俊游，“遥知向前路，掷果定盈车。”“潘郎车欲满。无奈掷花何。”“若非金谷满园树，便是河阳一县花”“嗣世衰微谁肯忧，二十四友日日空追游。追游讵可足，共惜年华促。”繁华事散逐香尘，流水无情草自春。日暮东风怨啼鸟，落花犹似坠楼人。“”梅英疏淡，冰澌溶泄，东风暗换年华。金谷俊游，铜驼巷陌，新晴细履平沙。长记误随车，正絮翻蝶舞，芳思交加。”“兰亭已矣，梓泽丘墟”“梓泽风流地，凄凉迹尚存。残芳迷妓女，衰草忆王孙。”“兰亭修禊事，梓泽醉名园。”“梓泽春草菲，河阳乱华飞。绿珠不可夺，白首同所归。”“叹金谷楼危，避风台浅，消瘦飞琼。”“非非是是总成空。金谷兰亭同梦。”“甚天荒地老，铜台歌舞，水流云在，金谷豪奢。”“已迷金谷路，频驻玉人车。”“还被凌波呼唤，相将金谷同游，想见逢迎处，揶揄羞面，妆脸泪盈盈。”“昔日兰亭无艳质，此时金谷有高人。”“洛阳天子县，金谷石崇乡。”“虽无金谷花能笑，也有铜驼柳解眠。”“叶落上阳树，草衰金谷园。”

　　潘安的小名为“檀郎”、“檀奴”。因潘安既是美男子，又对结发妻子一往情深，忠贞不渝，既便后来妻子很早就去逝了，他也没再娶。是女性心目中完美的情人、夫君形象，“檀郎”、“檀奴”遂成为夫君或心上人、情郎的代名词。这一称谓寄托着女性对情人、夫君用情专一的热切希望。