上世纪20年代末，张伯驹被委派去上海任盐业银行总管理处总稽核时，三夫人王韵缃是准备随行的，但此时王韵缃已管理张府全家的家务和一切收支，再加上张伯驹的父母不愿让孙子张柳溪离开，最终没能成行，而张伯驹去上海后邂逅并娶了潘素。1948年邓韵绮与张伯驹离婚，1952年王韵缃也和张伯驹离了婚。只有潘素留在了张伯驹身边，陪伴他度过了坎坷的一生。