在小说《知否知否应是绿肥红瘦》中齐衡娶了三个老婆，分别是六王爷的女儿嘉城县主、首辅申大人的孙女、庆宁长公主的嫡孙女。
在小说中，齐衡喜欢的人是盛明兰，但是由于母亲的强势，加上自己没有努力争取，所以齐衡最终的婚姻变成了由母亲包办的政治联姻。
齐衡娶的第一个老婆是六王爷的额女儿嘉城县主，只不过在娶嘉城县主时，还曾有一个富昌伯家的女儿荣飞燕也是齐衡的老婆人选，奈何六王爷家急着和齐家联姻，就暗中使坏，让荣飞燕失身，随后，她就自杀了。一切皆有因果报应，荣飞燕的死也造成了日后嘉城县主的惨死。富昌伯家知道了荣飞燕死去的真相，在发生兵变的时候，将嘉城县主掳走，将荣飞燕死前所经历的一切还给了她，最终嘉城县主也死了。
第一任老婆死后，齐衡又娶了首辅申大人的孙女、庆宁长公主的嫡孙女，只不过这两任妻子活的时间也不是很长，后来齐衡就没有再娶，只剩下两个儿子和他相依为命，他独自抚养了两个儿子直到终老。