且说赵挺之辞右相后，心恨蔡京不置，每与僚友往来，必谈蔡京过恶。户部尚书刘逵，与挺之最称莫逆，尝言有日得志，必奏黜蔡京。崇宁五年，春正月，彗星出现西方，光长竟天。徽宗因星象告警，避殿损膳，挺之与吴居厚请下诏求言，当即降旨准奏，且擢居厚为门下侍郎，逵为中书侍郎，逵遂乞碎元祐党人碑，宽上书邪籍禁令。徽宗亦俯如所请，夜半遣黄门至朝堂，毁去碑石。次日蔡京入朝，见党碑被毁，即入问徽宗。徽宗道：“朕意宜从宽大，所以毁去此碑。”京厉声道：“碑可毁，名不可灭呢！”这一语声彻朝堂，朝臣都觉惊异，连徽宗亦向京一瞧，微露怒容。敢怒不敢言，亦觉可怜。既而退朝，不到半日，即呈入刘逵奏牍，极陈：“蔡京专横，目无君父，党同伐异，陷害忠良，兴役扰民，损耗国帑，应亟加罢黜，安国定民”等语。徽宗览奏未决，嗣司天监奏称太白昼见，应加修省，乃赦一切党人，尽还所徙，暂罢崇宁诸法，及诸州岁贡方物，并免蔡京为太乙宫使，留居京师。复用赵挺之为尚书右仆射，兼中书侍郎。挺之入对，徽宗道：“朕见蔡京所为，一如卿言，卿其尽心辅朕！”既知蔡京罪恶，何不罢黜他方？挺之顿首应命。自是与刘逵同心夹辅，凡蔡京所行悖理虐民的事情，稍稍改正，且劝徽宗罢兵息民。