卫氏家族名声显赫的不止卫青，卫子夫作为汉武帝的皇后，对当时卫氏家族的兴衰起着决定性的作用。

而卫青的外甥霍去病也是汉武帝时期的名将，汉武帝对他甚是欣赏，其余的家族成员也都被封侯，卫氏家族可谓盛极一时，荣耀直至。但是力量如此庞大的外戚集团一度威胁到了汉武帝的地位以及刘氏体系的皇权。

卫青生前汉武帝虽已感觉了外戚干政的危险气息

自古君王最忌功高震主，汉武帝又是多疑的性子，自己儿子都不信，又加上卫青是太子的舅舅，多是受到牵连，可叹

卫青的家人被灭九族的事情，相传是，卫青的家人，受太子刘据的牵连被灭了九族

确切的说，当时卫青死了，卫家在外权势没落，再加上戾太子的巫蛊之乱，卫子夫想到会波及自己，害怕自己上吊死的。