有的朝臣觉得这是釜底抽薪，有的朝臣觉得太荒唐，双方为此辩论多日，到如今还没有结论。
程墨随同奏折送到刘询手上的，还有一封密信，言辞恳切详细讲明这么做的深远意义，先俘其民，再占其地，打下的这些地方，当然不可能还回去，这些地方只适宜放牧，不宜耕种，那就让归顺的牧民继续放牧好了，为吴朝养马，除供军队外，还可以贩卖到中原。
刘询抚掌称妙，只是朝中反对的声浪实在太大了。他拿定主意不动摇，行动上却是慢慢说服，待反对的声音消失，然后才有动作，这么一来，诏书便不能及时送到程墨手上。
这是朝中新旧势力的一次碰撞，刘询动用支持他的力量引导舆论，反对的朝臣也不断去找霍光，希望他重新出山，。这些人吓坏了，若放匈奴人进来，哪怕这些人是妇人孩子，也如豺狼般可怕。
有一个朝臣更在大将军府门口长跪不起，眼泪鼻涕齐流，道：“放匈奴孩子进来，不用十年，这些狼崽子便长成狼，会反噬，到时祸灾无穷，国将不保了。”
好象此时为那些妇孺老弱打开国门，再过几年，这些人便会拿起武器，把吴朝灭了一样。
霍光脸色阴沉，在书房中大骂程墨惹祸，骂完吩咐紧闭府门，不准府中任何人外出去，更严令霍禹等人不得惹事生非。
霍显也心惊肉跳，和霍光道：“五郎心软，到头终会害了自己。非我族类，其心必异，这些人抢掠我朝多年，杀了我们多少百姓，既捉了，全都杀了便是，何必留此惹祸根苗？不要说孩子，就是那些女人，谁敢要？生的孩子也是异类。”
霍光何曾不是这样想，只是到他这地位，一举一动皆有非凡意义，他还想再等等，暂时没有行动。
第二天，更多的人到大将军府求见，府门前宽阔的空地上停满了车马，这里很快成为反对者的聚集地。
霍书涵闻知，大惊，赶紧坐车过来，道：“父亲，五郎在外，稍有不慎会万劫不复，还请父亲三思。”
自小生长在权力顶峰的她，如何不明白，若霍光反对，府门口那些人肯定会汹涌弹劾程墨私通匈奴，到时不要说程墨死无葬身之地，就是程家也有可能灭族。自己的父亲能量太大了，翻手为雨，覆手为云，不得不防啊。
霍光眼神平静，看了她半天，道：“五郎到底年轻，不懂事。有些事，不能尝试，有些想法，太异想天开。”
“父亲。”霍书涵起身盈盈跪下，道：“若五郎有不测，女儿也不活了。。”
形势危急，她只好以命相迫了。
霍显惊叫道：“涵儿，你怎么了？快起来。”
程墨怎么会有危险呢？只要把那些匈奴人杀了便成。
霍书涵却知，程墨不可能对手无缚鸡之力的妇孺动手，攻打部落时没有杀他们，便不会杀了，这些人现在成了鸡肋，一个安置不好，程墨的小命都得搭上。