未得善终。平蜀归来，朝廷准备对卫瓘进行封赏。但卫瓘认为“克蜀之功，群帅之力，二将跋扈，自取灭亡，虽运智谋，而无搴旗之效”，因此坚辞不受。265年司马炎建立晋朝后，卫瓘先后担任征东大将军、征北大将军，镇守青州、并州等地。278年卫瓘入朝担任尚书令、侍中、司空等宰相级别的高官，他“为政清简，甚得朝野声誉”。
卫瓘对晋朝可以说是忠心耿耿，他见司马炎的儿子、太子司马衷痴傻，不能理政，屡次想上奏废除太子，另立储君，但都没有机会。
后来司马炎在陵云台大宴文武，卫瓘假装喝醉了，跪在武帝御座前说道：“臣欲有所启。”
司马炎说道：“公所言何耶？”
卫瓘卫瓘再三欲言又止，只好用手抚床说道：“此座可惜！”
司马炎何其聪明，马上领悟了，说道：“公真大醉耶？”此后卫瓘再也没提及此事。卫瓘的行为得罪了太子妃贾南风，贾南风因此对卫瓘怀恨在心。
插一句，其实最初司马炎准备给太子娶卫瓘之女为妃的。290年司马炎病死，太子司马衷即位，是为晋惠帝，由曾与卫瓘有矛盾的太傅杨骏辅政。291年杨骏被楚王司马玮诛杀。卫瓘便与汝南王司马亮共辅朝政，，被赐予“剑履上殿，入朝不趋”的资格。
不久后司马亮上奏让诸王回归籓国，与朝臣商议，无人敢应，只有卫瓘同意。因此司马玮十分记恨卫瓘。贾后也因为卫瓘正直，自己无法插手朝政。于是两人便以“欲为伊霍之事”（废立）的罪名，免去卫瓘的官位。同时派清河王司马遐率部包围卫府，最终卫瓘与子孙九人一同遇害，享年72岁，他的结局正应了杜预当年的判断。卫瓘在曹魏末年的政治斗争中独善其身，在与钟会、邓艾的较量中大获全胜，最终却死在西晋复杂的政治斗争中。卫瓘死后多年，经过他的女儿以及朝臣们上书，卫瓘一案才得以最终昭雪，晋惠帝司马衷下诏追赠卫瓘假黄钺、兰陵郡公，追谥成公。