于是，“王安石变法”仅仅取得了少许成效，但是弊端频现，出现了开封等多地百姓为逃避保甲之法，自断手腕等情况，然后免役钱之事有引起民怨沸腾，朝野上下议论纷纷，加上保守派大臣不断上表宋神宗，言王安石变法未见其利、先见其弊，与古人所言“利不百，不变法；功不十，不易器。”背道而驰，并非兴国之举，却有乱天下之实，请罢王安石之法。
宋神宗得闻民间之事，忧形于色、寝食不安，后熙宁七年（1074年）春，天大旱，久不雨，安上门监郑侠绘东北《流民图》，写成《论新法进流民图疏》，请求朝廷罢除新法。
郑侠奏疏送到阁门，不被接纳，只好假称秘密紧急边报，发马递直送银台司，呈给神宗皇帝，疏称：“但经眼目，已可涕泣，而况有甚于此者乎？如陛下行臣之言，十日不雨，即乞斩臣宣德门外，以正欺君之罪”。
宋神宗阅毕疏奏，反复览图，长吁数四，袖以入，是夕寝不能寐，翌日即下令开封府发放免行钱，三司使查察市易法，司农发放常平仓粮，三卫上报熙河用兵之事，诸路上报人民流散原因，青苗、免役法暂停追索，方田，保甲法一起罢除，共采取了十八条措施。
可以说新法大半被停止执行了，由是民间欢呼相贺，神宗又下《责躬诏》，求直言，恰巧三日后大雨，辅政大臣俱入宫祝贺，神宗皇帝把郑侠所进的流民图及奏疏拿给这些大臣看，并说出责备之言，群臣于是再拜谢罪。
王安石不得不上表请求去职，宋神宗也没有挽留，于是王安石首次罢相，被遣往江宁府做知府，幸得宋神宗还念君臣之义，同意了王安石的推荐，让吕惠卿、韩绛任参知政事（等于后世的中国共产党中央委员会政治局常务委员会委员），朝政还是掌握于变法派手中，于是以吕惠卿、邓绾为首的变法新党就围着神宗痛哭流涕劝说道：“陛下数年以来，忘寐与食，成此美政，天下方被其赐，一旦用狂夫之言，罢废殆尽，岂不惜哉。”
宋神宗被变法新党说服，将新法全部恢复，于是吕惠卿、韩绛二人继续坚持王安石制定的成法，推进变法，及后吕惠卿掌握大权后，担心王安石回朝夺其权位，便欲借办理郑侠案件的机会陷害王安石的弟弟王安国，又兴起李士宁案件想入罪王安石，由此激起了与韩绛的矛盾，韩绛便秘密奏请宋神宗召回王安石。