齐衡叫齐小二是因为在齐公府排行老二，上面还有个同父异母的哥哥，但鲜为人知，大家了解更多的还是齐衡，齐小二就是齐衡的昵称之一，就像是顾廷烨因排行老二被叫做顾二一样。

齐衡是齐国公和平宁郡主的独子，平宁郡主只有齐衡一个儿子，因为当时生齐衡上了身体，以后都不能生育了。但齐衡不是齐国公长子，平宁郡主也不是齐国公嫡妻而是续弦。

平宁郡主嫁给齐国公之前，齐国公已经有妻子了，还生下了长子，但齐国公嫡妻身体不好很快病逝，留下了一个体弱多病的长子，常年卧病在床，都没有几个人见过长子。

平宁郡主嫁给齐国公做续弦，齐衡是平宁郡主较早的儿子，平宁郡主因为不能生育，也禁止齐国公纳妾和侍妾生孩子，所以齐国公年纪一大把了，也只有两个儿子，其中一个还是病秧子，国公爵位将来也只能传给齐衡，因此齐衡也被成为小公爷。