作为一个将军一下子被削职为民，让其闲居在家，李广的心情可想而知。有一次，李广与能望以知祸福的相士王朔一起饮宴。酒过三巡，李广长吧一声对身边的王朔说道：“唉，在我年轻的时候，我曾经相过一次面，那位老丈说我不能封侯，禄不过两千石，难道我这一生果真会如此吗？”王朔仔细的看了看李广说道：“你的面相确实不好，但你的气好，头顶上福禄气缭绕，看上去应该可以封侯的。不过将军您想一下，你平生有没有什么最后悔的事情？”李广听了以后深思半晌才说道：“我只记得在当陇西太守的时候，曾经有一次诱杀羌兵八百人，那件事直到现在我想起来，还特别的后悔。”王朔说道：“你不能封侯的原因就在这里了，祸莫大于杀降，此乃将军为什么不能封侯之所在。”
李广听了此话之后，默默不语，此时他心里想的是：想自己厮杀半生，还只是一个普普通通的太守之职，而那些比自己小十几岁甚至小几十岁的后生们，其地位也都在其上。如公孙敖，自己当将军的时候，他还只是一个普通的士兵，现在居然封了侯；他的堂弟李蔡，也已经位至诸侯国的丞相，封为列侯。这些怎能不让他郁郁不欢呢。
在公元前123年，汉武帝又以卫青为车骑将军，率骑兵三万从朔方攻击匈奴结果大胜而返，斩万余。因功卫青被封为大将军，跟随着卫青出征服其他将校如公孙贺、李朔、赵不虞等人都沾光封了侯。公元前119年，汉武帝为了彻底击败匈奴，下了大规模征兵的诏令，汉武帝征集了全国的精锐骑兵十万，另加数十万的后勤运输部队。他把部队分成两路向匈奴攻击。一路由大将军卫青从定襄出塞，一路由骠骑将军霍去病率领从代郡出塞，然后采取分进合击的战略，深入匈奴的腹地，准备对匈奴进行一次一劳永逸的打击，以彻底解决边境之患。
李广在有闲居几年之后，觉得自己已婚老，再不立功就没有机会了，于是就像汉武帝请缨，要求上阵杀敌，开始武帝国因为他年纪太大了，没有批准，但李广执意要上前线，央求了武帝很长时间，并且还在武帝面前挥刀舞剑的演练一番，证明自己并未老去。汉武帝敬其威，服其壮，就命他率军属于卫青麾下，参加大军远征，并担任前将军。卫青大军出塞后捉来了俘虏，从俘虏的嘴里问出单于驻扎的地方，便亲自率领精锐部队急进击；让李广与右将军赵食其合兵一处，从东路进军。不过从东路进军，需要绕路，路途相对的也就远了，水源和青草也比较少，李广就向卫青请求道：“大将军，末将乃是前将军，应该做前锋，召集您却另外让我从东路进军。而且我从少年时代起就开始于匈奴作战，直到今天才有机会正面对付单于，所以希望能在大军前面做先锋，先去和单于决一死战。”
卫青听到李广如此的苦苦相求，心里也十分的不忍，但想起临行之时汉武帝特意对自己所说的一番话：“李广现在年纪已老了，而且观其一生，运气始终不太好，朕想为了稳妥起见，还是不要派其正面与单于为敌，以免到时候咱们抓不住单于。”武帝已经下了秘令了，卫青就算想改也没有这个权力了，况且卫青的好友公孙敖在不久前因罪失去了侯位，卫青想让他与自己一起在正面攻击匈奴，从而立下大功，好恢复侯位。基于种种原因，卫青没有同意李广的请求。
李广后来也不知道怎么知道了这些原因，大怒之下，就与赵食其率军出，可是他们这个部队因为没有向导，在沙漠中迷失了道路，没有赶上与单于的战斗。等到卫青率领军队回师，经过沙漠南部的时候，才遇到了李广和赵食其所率领的军队。卫青得知此事之后，很是恼火，派人去李广的军营，询问李广私自出军的理由，按照汉军的法律，私自出军又贻误战机的罪过是要斩头的，但卫青比较慎重，没有贸然行事只令李广指挥部的幕臣去大将军处听审，视其情节轻重再向汉武帝报告。李广知道之后，很是气愤说道：“迷路迟到的罪责在我，我的部下没有罪，要去听审，就由我去好了。”说完，亲自骑马去大将军驻地听审。在去的路上，李广百感交集，想那卫青乃牧猪之奴，虽有战功赫赫，可是在很大程度上，是靠了他姐姐卫子夫的关系，才爬到了这么高的位置。而自己从军数十年，身经百战，威震敌胆，最后老了老了，还要受卫青这种后生的侮辱，我本想在有生之年，与匈奴决一胜负，立一次大功，不想却迷了路，就因为迷了一次路，就有了罪名。我今年六十多岁了，难道还要去听审？还要受那些刀笔吏的污辱吗？不，我不能污了我这一生的威名。想到这里，李广从腰中拔出长剑，仰天长叹道：“时也、运也、命也呀！”长剑往脖子上一放，横剑自刎。
李广自杀的消息迅的传达室到了他所率领的部队，将士们无一人不落泪，无一人不伤心。而友邻的部队听到了这个消息之后，也都是嚎啕大哭。大家都为李广抱不平，鸣冤叫屈。后来军中经常有人不定时的祭祀他，以纪念他为国家忠勇奋斗的一生和爱兵如子的品德。
古人云：谋事在人，成事在天。天者，时也，势也，运也。李广终其一生身经百战穿金黄色甲，令敌人闻名丧胆，可是依然未能封侯，时乎？命乎？
卫青每当想起李广的死因来，都会愧疚不安，虽然李广并不是他杀死的，但他却知道李广是间接因他而死的，如果当时自己同意了李广的请求，这一切或许都不一样了，可是时光已经过去，又如何能够回去呢，卫青只能带着这深深的歉疚来抚慰李广的后人了。