大臣愤愤不平地说光宗不顾天理人情，可是光宗还是不予理睬。直到有一天孝宗病重，希望在临死前见见光宗。可是，光宗却推脱说身体不适，直到绍熙五年（公元1194年）六月孝宗去世，光宗也没有去探望父亲。面对这样一位昏庸的君王，众臣苦苦地规劝，期盼着光宗以朝廷大局和国家大事为重。

可是，光宗还是让大家失望了。孝宗去世是在半夜时分，本来得知消息后，宫人马上要报告光宗，当时任知枢密院事的赵汝愚担心光宗知道后，再使出以前所使用的伎俩，于是立刻拦住进宫报告的人。到次日早晨，光宗刚刚坐稳，赵汝愚立即把孝宗驾崩的讣告上奏光宗，请光宗尽快换上孝服为孝宗治丧。当着文武百官的面，光宗不能再借口推辞，只好答应回宫准备。可是留正、赵汝愚等却一直等不到光宗出来。留正、赵汝愚看当时的情势紧急，只好议请高宗的吴皇后也就是吴太皇太后暂主丧事。母后主持儿子的丧事，这真是一件让人啼笑皆非的事情。