然而到了汉景帝当政的时候，冯唐的境遇却发生了变化。当时，汉景帝命冯唐去担任楚国的丞相，但不久就被罢了官，具体原因史料中没有记载。以汉景帝用人欠雅量来看，估计说话直来直去、不善逢迎的冯唐不会得到他的喜欢，被罢官也是必然。而李广虽未被罢官，但也因憨直、不懂政治而遭到了汉景帝的猜忌。七国之乱时，李广随周亚夫平叛，立下大功，并以夺得敌军军旗而威名大震。当时，梁王以将军印赐之，李广竟憨头憨脑地接受了，正是这件事犯了汉景帝的大忌。身为朝廷的大将，怎能受藩王的官印？因此战后论功行赏，有29人因平叛有功被封侯，而立下大功的李广却未加赏赐。李将军为自己的憨直付出了惨重的代价，失去了封侯的绝佳机会，也为今后的仕途蒙上了一层厚重的阴影！
汉武帝上台后，求贤若渴，向全国征求贤才，但这个时候，冯唐已经老了， “武帝立，求贤良，举冯唐。唐时年九十馀，不能复为官。”这对冯唐而言，不能不说是一个悲剧。而汉武帝对李广的态度，是非常复杂的。应该说既有看重李广的一面， “以为广名将也”，给予了一定程度的重用；同时，也存在压制李广的一面。公元前119年，汉武帝令卫青、霍去病等大举北伐，但却暗中告诫卫青，“李广数奇（命运乖舛），毋令当单子”。这种两面的态度，源于汉武帝用人的两面性，既渴求、重用人才，又不爱惜人才。
汉武帝在任用统兵大员方面，重用外戚是其既定政策。他优先考虑的，是卫青、霍去病、李广利等圈里人，其次才轮到别的将军。只不过类似卫青、霍去病这样的才干卓越的外戚是可遇而不可求的，卫、霍死后，外戚李广利掌兵权，接连兵败，最后还投降了匈奴，这不能不说是汉武帝巨大的用人失败。李广既不是外戚，又不会逢迎取巧，行事也颇多令人诟病之处。他曾在打猎时被小吏阻拦，竟因此怀恨在心，后寻机将小吏杀害；也曾诱骗八百羌人投降后，将其全部杀害，加上战绩不能服众，自然无法被汉武帝青睐，遂成为战场上的蓝领角色，出苦力干脏活却不受重用，最终丧失了立功封侯的机会。
