只有两次罢相，没有再被贬过。

第一次罢相：1067年，宋神宗即位，王安石受到了皇帝的赏识与重用。王安石在宋神宗的支持下，王安石官至宰相，颁布新法，进行了一些列的变法。1074年，天灾人祸，天下大旱，百姓们无家可归，饥不果腹，守旧派们将这些怪罪于王安石变法，给宋神宗施加压力，还绘制流民旱灾苦图给宋神宗看，一条条罗列新法的过失，上书要求罢免宰相王安石。同年，宋神宗感受到来自四面八方的压力，有大臣的控诉也有太后的哭诉，最终心有怀疑，罢免了王安石的宰相职位，将其贬为知江宁府，吏部尚书。

第二次罢相：1075年，王安石二次被任命为宰相，第一次的失败就是因为守旧派的强烈反对，没有人支持王安石变法，那么王安石第二次上台同样也是反对者多于支持者。与此同时，变法引发了严重的内部矛盾，外部又有很多的压力，内因外因导致新法无法推行。1076年，王安石主动辞职，先后任判江宁府，左仆射等职位。