汉武帝本就有荒淫、好美女之嫌疑，等到卫子夫容貌衰老，武帝对她的宠爱也就渐衰。在卫子夫成为皇后之后，先后有王夫人、李夫人、尹婕妤、钩弋夫人受宠。
征和二年，卫皇后的女儿诸邑公主、侄子卫伉和姐夫公孙贺一家因巫蛊事件被杀。
其后，曾得罪过刘据的江充趁机诬告刘据参与巫蛊一事。
而刘据根据少傅石德的意见，于征和二年七月，派人抓捕了江充等人并杀了按道侯韩说，然后又在卫子夫的帮助之下，用宫中车马房的车载着弓箭手，并搬取武库武器、调取皇宫侍卫，杀了江充，并在上林苑烧死了巫师，接着又与丞相刘屈氂所领之兵交战，最终战败而逃。
太子刘据战败逃走之后，武帝下诏派宗正刘长乐、执金吾刘敢去收回卫子夫的皇后玺绶，卫子夫自知无法解释，于是自杀。
其后被黄门苏文、姚定汉用一小棺将其葬在了长安城南的桐柏亭。而太子刘据最终在长安城外自杀，卫氏家族也被族灭。