北安王府和平恩侯府联姻，让程墨再次成为京城朝臣百姓热议的中心，老百姓羡慕之余，也只能意淫一把，想像自己变身北安王；满朝文武、勋贵的感受就不同了，程墨阵营的人欣喜不已，而一些觉得程墨崛起太快，对程墨心怀顾忌的朝臣不约而同上奏折，要求两家解除联姻。
这些奏折，刘询一律留中。于是一些朝臣去拜访许广汉，或指责他把女儿嫁人作妾；或做痛心疾首状，痛陈两家联姻的害处；或扮好人，提醒他要为家族考虑，皇后的娘家有北安王这个强助，定然遭皇帝所忌，说不定会有灭族之祸。
许广汉只是一个小吏，本就没什么见识，听这些人痛陈厉害，吓得不轻，赶紧进宫和许平君商议。
许平君本就有些不情愿，总觉得亏待了妹妹，一见老父动摇，也起了退婚的念头。晚上刘询回建章宫，她道：“虽说大哥年龄和婉儿相当，可上头还有一个霍王妃，不如把这门亲事退了，为婉儿另择良配。”
刘询笑道：“诏书一下，还能更改么？朕封婉儿为北安王侧妃，和苏氏平起平坐，如何？”
许平君摇头，道：“侧妃可不是正妃。”
到底身份还是差了。
刘询道：“小君，婉儿过门，上头没有公婆管束，霍氏又是明理之人，她不会为难婉儿，你看她对顾氏、赵氏如何？把婉儿嫁到有公婆，甚至太公、太婆的人家，规矩礼节又繁琐，婉儿受得了么？”
能屹立至今不倒的勋贵，哪家没有重重规矩？这些规矩正是他们成为贵族，能在人群中一眼与普通大众区分开来的所在。
许平君一想也是，妹妹嫁进北安王府，起码想干什么干什么，没长辈管束。她想通了，反过来劝许广汉：“陛下看好这门亲事，您就别再听那些人乱说了。我原本还觉得北安王亏待妹妹，可昨晚想了半宿，父亲，我们的出身也普通得很，不如就妹妹的意，同意这门亲事吧。”
许广汉没什么主意，只要大女儿答应，他哪会反对？亲事就这样定下来。
那些别有用心的朝臣开始上奏折围攻程墨，各种吹毛求疵，有一位老臣甚至连他当年烂赌，赌光祖业的旧事都拿出来弹劾，说这样的人，如何能居高位，甚至为异姓王？
这封奏折连小陆子都看不过眼了，叫郑春悄悄出宫，向程墨递了消息。
程墨大怒，说他别的犹可，拿这件事出来说，完全没道理，不说当年他还没穿过来，就说这些年，他一直没有赌过，跟张清、武空等人打牌，也是娱乐消遣，何曾真的上过赌坊？现在翻出这笔烂帐，想干什么？
不过两天，司隶校尉便查到这人小时候拿人家的桃子不还钱的“光荣事迹”。程墨上了一封奏折，说这人人品败坏，连桃子这么不值两个铜板的东西都赖帐，怎能在朝为官？并把这件事散布出去。
刚好是桃子大量上市的时节，这人走到哪，有些促狭的人便上一盘桃子，打趣他，让他多吃两个，省得拿人家的桃子不还钱。这人气得吐气，却无可奈何。
就在这时，张敞再次上门求见，道：“王爷位极人臣，和平恩侯府结亲，又处于风口浪尖，不如低调些，以免引起陛下忌惮。”
他冷眼旁观多日，朝野中大半朝臣反对这门亲事，以致攻讦程墨，不过担心程墨地位牢固，权力太大，危及皇室。