1928年4月，在蔣、馮、閻、桂四大集團軍的攻擊下，奉軍全線崩潰。6月，張作霖退出北京，回到了東北的白山黑水之間。
張作霖雄居東北時，對日本人的各種要求均拒不合作。他對付日本人的辦法也別具一格，一次，張作霖出席日本人的酒會，酒過三巡，一位來自日本的名流力請大帥賞字，他知道張作霖出身綠林，識字有限，想當眾出他的醜。但張作霖抓過筆就寫了個虎字，然後題款，張作霖手墨。可是他墨字寫錯了，寫成了張作霖手黑！
在叫好聲中，擲筆回席。那個東洋名流瞅著“張作霖手黑”幾個字笑出聲來。隨從連忙湊近大帥耳邊提醒，“大帥寫的‘手墨’的‘墨’字，下麵少了個‘土’成了‘黑’了。”哪知張作霖一瞪眼睛罵道：“媽那個巴子的！我還不知道‘墨’字怎樣寫？黑字底下加個土，但是我對日本人肯定是寸土不讓。日本人要是苦苦相逼，別他媽怪我張作霖手黑了！
這番話如同給日本人當頭一棒。在場的中國人恍然大悟會心而笑，無不揚眉吐氣，日本人則目瞪口呆。
這個“寸土不讓”的故事也流傳到現在，人們都打心眼裏佩服這位黑土地上的民族英雄。
當時美國人在滬出版的英文報紙《密勒氏評論報》的主編鮑威爾曾采訪過張作霖。這位美國人回國之後，在其所寫的回憶錄中，也表達了對這位出身卑賤的元帥的敬意。他認為盡管東北長期處在日本軍閥的鐵蹄下，但張作霖無愧一個愛國的中國人。
張作霖不僅有民族氣節，而且治家嚴謹，給家裏人定下規矩不少，家風甚好。他的小舅子在他身邊當警衛，仗著大帥的名，在外麵胡作非為，晚上閑來無事，居然拿路燈當靶子，把路燈全部打碎，市政建設的人知道這事很氣憤，但是敢怒不敢言。張作霖聽說這件事憤恨地說：“把他給我斃了。”手下顧及到張作霖的顏麵說盡好話，要求從輕發落。當晚張作霖親自執法。家人很不理解，幾個燈泡碎了就換新的，怎麽把人給槍斃了。張作霖說：“你們在家犯錯，丟的是我張作霖的臉，但是在外麵搞破壞，壞的是奉天城的風氣。”以後大帥府裏的人更加慎言慎行，沒有人乖張鬧事。奉天城的百姓知道了這件事，對張作霖更加尊敬。都說張大帥辦事有自己的規矩，誰都不能違背。
當時張作霖的兒子張學良是第三旅的旅長，第三旅是獨立旅，是張作霖的王牌軍。張作霖身著便服在城裏轉悠，突然聽見幾個百姓，歎氣說第三旅的人橫行霸道，巧取豪奪。張作霖聽到這裏已經火冒三丈，回家見到張學良更是怒不可遏，破口就罵，罵了足有半個小時，張學良低著頭不敢說話，大廳裏掉根針的聲音都能聽見。最後，張作霖讓張學良關禁閉三天，不許有人探望，按照規定辦事，誰也不許說情，否則一起處罰。事情一傳出去，整個軍隊都震撼了，一想到連少帥觸法都躲不過嚴懲，誰都不敢再為非作歹了。
由於張作霖不肯滿足日本帝國主義的無理要求（包括開礦、設廠、移民和在葫蘆島築港等），1928年6月4日晨5時許，當張作霖所乘由北京返回奉天專列駛到皇姑屯附近的京奉、南滿兩鐵路交匯處橋洞時，被日本關東軍預先埋好的炸彈炸毀，這位亂世梟雄身受重傷，當日去世，享年53歲。
張作霖統治東北時，曾發展工業擴充軍備，建立了中國當時唯一“海”、“陸”、“空”具全的武力。大量引入山東漢人進入滿洲，這一移民戰略大大充實東北邊疆，改變了東三省的人口、民族、文化格局，成為日後日本侵略此地時一大障礙，由於兵工廠的建立，東北軍成為當時中國唯一一支擁有自主生產火炮和炮彈的軍隊，由於火炮生產的自主，使得東北軍的火炮數量多，火力猛，炮彈充足，成為東北軍相較於其他軍閥部隊的優勢兵種。
九一八事變東北淪陷日本之手後，東北淪陷。時人皆稱：“大帥在（張作霖），必不至此！”（劉繼興）
