没过多久，因为提拔官员的事，寇准又在殿上和反对他意见的大臣争吵了起来，太宗不想将这件事情闹大，对寇准说：“你现在身为执事，在朝廷上与人争辩，太过失礼了。”但寇准仍然力争不已。第二天，寇准不肯服输，仍与人据理力争。这一次，太宗不高兴了，他说寇准：“雀鼠还能够知道看人脸色，更何况是人呢？”时任宰相的吕端更是站出来对皇帝说寇准“性刚自任”，应予惩治，宋太宗终于又把寇准逐出了京城，将他调到邓州（河南邓县）做了个小小的知州。
到了真宗朝，寇准再次被召入京城，并出任宰相。寇准在宰相任内，积极抗辽，功勋卓著，但由于他刚正不阿的性格，又有数次被罢官，后来，寇准被贬到雷州，最终病死在那里。
寇准逝世后，他的妻子将灵柩运到洛阳安葬。在经过湖北公安时，当地民众念及寇准的恩德，将竹子插在地上，上面挂祭物祭拜他，而后将竹子、祭物等焚烧。过了一段时间，焚烧祭物的地方竟然长出了竹笋，并蔓延成林。当地墨竹图卷（局部）人就在附近为寇准建立了祠堂，还把那些竹子称为“相公竹”。
