房遗爱和高阳公主共育有四子。

永徽四年高阳公主骄纵，擅自谋求罢黜房遗直的爵位而夺之，于是诬告房遗直对自己无礼，被长孙无忌彻查而诱发房遗爱参与荆王李元景谋反案发，房家遭受灭顶之灾。

因受谋反案牵走，荆王李元景、高阳公主夫妇、巴陵公主夫妇等均被赐死，房玄龄家族几乎被清洗殆尽。高阳公主夫妇四子亦被流放岭南。