227年,諸葛亮率兵首次進攻魏國,先假意做出要從城進攻的樣子,引得魏國大都督把主要軍力集中在城防守,再突然出其不意地向祁山逼進,使得大軍一路勢如破竹,很快就攻下了魏國的安定、天水、南安等三處城池,消息傳到魏國首都,舉國上下一片震驚。這時,魏國皇帝曹睿啟用了名將司馬懿,讓他領兵到長安抵抗蜀兵。
諸葛亮也知道,隻有司馬懿最會用兵,也隻有他最了解自己的特點,他肯定會出兵攻占街亭(今甘肅莊浪東南),街亭是蜀軍運送糧草的主要道路,也是蜀軍退回漢中的惟一通道,如果讓司馬懿占領了街亭,就等於掐住了蜀兵的咽喉,這是一個戰略地位極強的要道。
於是他召集將官們商量,問誰願意領兵去把守街亭,魏延、吳懿、馬謖等都搶著去,諸葛亮比較相信馬謖,便讓馬謖率領兩萬多人去守街亭,又特地派了作戰經驗豐富的大將王平去協助他。臨出發之前,諸葛亮反複交代:“街亭是我軍的根本,如果街亭失守,不光戰爭要失敗,甚至連自己的性命都要搭上,一定要千萬小心!”
馬謖一看到街亭的地勢,便產生了輕視敵人的想法,覺得這裏將是自己打敗魏兵、建功立業、大顯身手的好機會,在怎樣守衛的問題上和王平發生了爭吵,王平要在道口紮營,擋住魏軍前進的道路,而馬謖卻要在山上紮營,一意認為從上往下攻擊必定大獲全勝。王平擔心對方斷絕水路或者用火攻,馬謖不但不聽,還笑話王平不懂軍法,最後隻讓王平領五千來人在道口紮營。
司馬懿來到街亭後,果然采取了圍住山頭、斷絕水路的戰術,馬謖命令士兵們往山下衝鋒,司馬懿命令士兵們用弓箭往上射擊,蜀兵死傷無數,士兵們都慌忙往山上跑,許多人竟然去投降了魏軍。而王平的五千來個士兵,衝了幾次也沒辦法將馬謖解救出來,馬謖隻得領兵突圍,街亭就這樣被馬謖輕易失去了。
回到西蜀以後,諸葛亮把將官們召集起來,處理這次街亭失敗的事件,按軍令要處死馬謖。馬謖承認了自己的罪過,對諸葛亮判自己的死罪心服口服,他隻是向諸葛亮提出,自己的妻子兒女,請諸葛亮多多關照。諸葛亮和馬謖本來關係很好,但他不願讓個人感情破壞了軍中的法紀,他一麵流淚,一麵答應馬謖的請求,保證照顧好馬謖的兒女。
斬了馬謖以後,諸葛亮認真檢查自己的過失,覺得自己用人不當是造成這次街亭失守、全軍慘敗的根本原因,便向皇帝劉禪上表請求免除自己的丞相職務,降官三級,劉禪同意了諸葛亮的請求,降了他的官職,但還是讓他代理丞相的事務。