裴矩这句话说出来，当真石破天惊，当场就把杨昭震得吃了一惊。其实裴矩说的倒也没错，杨坚在开国之初，确实要算是位英明神武之主。但他即位二十年，如今年纪渐大，精力不济了，近年来在施政上确有不如人意之处。而杨素为了巩固自己权位，更是不理百姓死活，只顾奉承天子，使民间颇有怨恨。
比如说开皇十三年，杨坚在岐州之北兴建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。为了尽快兴建好宫殿以讨好杨坚，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”。开皇十五年，仁寿宫建成，杨坚准备驾临巡幸。时值天热，“役夫死者相次于道，杨素悉焚除之”，其手段委实耸人听闻，令人指。
尚书左仆射高颎得知此事以后，便如实奏报给杨坚知道。杨素惶恐无比，担心受责备，一时束手无策。他身边的记事封德彝，就出主意建议杨素向独孤皇后求情。杨素于是大喜依计而行。次日，天子驾临仁寿宫时，见宫殿如此奢华，当时即便大怒，道：“杨素殚民力为离宫，为吾结怨天下”。就召杨素问对。但杨素事先做好了独孤皇后的工作，独孤皇后就在旁边替杨素帮腔。结果杨坚听了枕头风，不但没有惩罚杨素，反而加以恩赏，从此对他更为信任。至于高颎反而逐渐受到疏远。
之后因为废太子杨勇和晋王杨广的储位之争，杨坚更直接将高颎贬为庶人。杨素由此而得独相。没有了制肘，他更加肆无忌惮地提拔私人安置在朝廷的各个紧要位置，几乎是只手遮天。试想，假如没有杨坚当日的放任，杨素的野心又何至于不断膨胀，终于演变成今日这种最恶劣的结果？
然而道理归道理，有些时候有些事情，却是大家都心知肚明，却又谁也不能说的。裴矩和杨昭今日才是一次见面，虽然彼此都客气，但还远不到可以推心置腹的地步。如果二人都是平头小老百姓，那么酒酣耳热之际，非议几句今上，扯淡几句国家大事什么的，倒也无所谓。但眼下一位是世家子弟，名门望族出身的内史侍郎；另一位则是龙子凤孙，绝对根正苗红的太子嫡子河南王。裴矩宦海沉浮多年，言谈之间，却实在不该如此没有分寸才对。
弹指之间，小王爷心中早转过许多个念头，设想了十七八种可能性。因震惊而悬在半空的手腕徐徐放下。他收起面上笑容，道：“所谓子不闻父过，更何况当今天子，就是本王祖父。听了裴大人这句说话，我本来该掩耳而走才对。”
裴矩微笑道：“但，殿下此刻却并未有起身离开，反而继续端坐与下官说话。这说明殿下亦知道下官说得没有错，对么？”
杨昭微微一笑，不答此句，却转过话题，道：“裴大人似乎对当今朝廷颇有不满。然而人非圣贤，谁能无过？过去几年，我皇祖父因受杨素蒙蔽，确实令许多人受了冤屈。但如今杨素已经事败，近日来皇祖父便会将其党羽一一铲除，拨乱反正，再振朝廷纲纪法度，如此，也足以将功补过了。”