老安遊記
環球旅遊的隨記，北美，歐洲
第四任總統：詹姆斯-麥迪遜（James Madison），任期：1809-1817
詹姆斯-麥迪遜（James Madison）
詹姆斯-麥迪遜（James Madison Jr.），1751年3月16日 - 1836年6月28日，美國政治家，開國元勳，第四任總統（1809年－1817年）。因為在起草和力薦《美國憲法》和《權利法案》中的關鍵作用，麥迪遜被譽為“憲法之父”和“權利法案之父”。
1812年連任總統之後，由於外交抗爭和貿易禁運失敗，美國與英國卷入了1812年戰爭。由於美國軍力財力不強，戰爭打得一塌糊塗。麥迪遜不得不支持強大的政府和軍隊，以及國家銀行。
史學家常視麥迪遜為優秀總統，2006年，由美國著名曆史學家所評比出的“美國曆史上最有影響力的人物”中，麥迪遜排名第十三，在總統排名中，在格蘭特之後，位居第七。
在開國元勳中，麥迪遜的排名不算高。主要的原因是，他體弱多病，不能參加獨立戰爭。在1812年戰爭中，他的表現也不佳。被後來的總統，戰爭英雄安德魯-傑克遜的光芒所掩蓋。他對建國的主要貢獻表現在製憲過程中，曾被譽為“矮個子的巨人”（Giant the Short）。
早年與教育
1751年3月16日，一個小男孩誕生在貝爾格魯夫種植園(Belle Grove Plantation)，這個莊園位於弗吉尼亞（Virginia）的康威港(Port of Conway)。小男孩的父親是老詹姆斯-麥迪遜（James madison Sr.），小男孩是十二個孩子中的長子，名叫小詹姆斯-麥迪遜(James madison Jr.) ，亦即後來的麥迪遜總統。
麥迪遜總統的先祖，是來自英格蘭東北部地區的古老家族。他的五代祖於1625年移居到北美的弗吉尼亞殖民地（Colonial Virginia），以種植煙草為業，祖輩相傳。
他的父親生於橙郡（Orange County）的快樂山莊（Mount Pleasant），成年以後繼承祖業煙草種植園。後來他變得更加富有，購買了100個奴隸，占地麵積為5,000英畝，成了皮德蒙特（Piedmont）一帶的大地主。
他的母親奈莉-康威（Nelly Conway）生於康威港，是大煙草商（Tobacco Merchant）和種植園主（Planter）的女兒，1749年嫁給老詹姆斯。1751年，在娘家康威港探親的時候，生下了大兒子小詹姆斯。1760年初，麥迪遜一家人搬入新居，橙郡的蒙彼利埃莊園（Montpelier Estate）。
蒙彼利埃莊園（Montpelier Estate）
蘇格蘭先生唐納德-羅伯遜在南方開設私塾，為多個種植園的家庭做家教，小詹姆斯在11-16歲的時候，師從與這位家庭教師，他學到了數學，地理和語言。
他16歲時回到蒙彼利埃，在湯瑪斯-馬丁牧師那裏備考大學。與當時大多數弗吉尼亞學子不同，他沒有進入威廉和瑪麗學院，因為該學院的所在地威廉斯堡地勢低窪，容易傳染疾病，影響健康。1769年，18歲的小詹姆斯-麥迪遜進入了新澤西學院（即後來的普林斯頓大學）。
在普林斯頓，他的課程有拉丁語，希臘語，科學，地理，數學和哲學，著重於演講和辯論。麥迪遜協助成立了美國輝格會，與同學阿龍-伯爾的克裏歐索菲克會進行競爭，苦讀的年頭可能影響了他的健康。
1771年，20歲的麥迪遜畢業了，留在普林斯頓大學校長約翰-威瑟斯彭那裏研究希伯來語和政治哲學。1772年初，麥迪遜回到蒙彼利埃的家中，對未來依然迷茫。威瑟斯彭深深地影響了麥迪遜的哲學和道義觀，將他帶入了啟蒙時代的哲學價值和思維世界。
麥迪遜從普林斯頓畢業（Madison Graduation from Princeton）
早期服役與政治事業
在18世紀70年代初，北美殖民地和英國的關係因稅收而惡化，導致了獨立戰爭於1775年爆發。在1774年，麥迪遜參與了當地的安全委員會，支持革命，召集民兵。這是他在家庭財富支持下所做的第一份公務。
1775年10月，他成為橙郡的民兵上校，輔佐父親，之後被選入弗吉尼亞第五大會，大會製定了弗吉尼亞第一部憲法。由於瘦弱多病，麥迪遜沒有親自作戰，但因為領導戰爭而在政治上出了頭。
在弗吉尼亞製憲會議上，麥迪遜支持弗吉尼亞權利法案，並呼籲保護宗教自由。製憲後，麥迪遜成為州下議院成員，1777年年末，下議院將他選入州長谘詢委員會。在此，他成為州長湯瑪斯-傑斐遜（Thomas Jefferson）的摯友。
1784年，麥迪遜被選入弗吉尼亞下議院，1784-1786年，在下議院服務期間，與傑斐遜和他的弟子，議員詹姆斯-門羅（James Monroe）合作。同時在此期間，他還努力學習法律和政治理論，傑斐遜從法國拿來啟蒙運動的文章給他看，麥迪遜深受影響。
憲法之父
在整個18世紀80年代，麥迪遜都在倡議修改邦聯條例。在1783年獨立戰爭結束後，他越來越擔心各州不團結，中央政府軟弱。在1786年安納波利斯會議後，他支持再度召集會議，修訂邦聯條例。麥迪遜在連任議員後，說服其他議員批準費城會議修憲。
費城會議法定人數聚集完成，36歲的麥迪遜寫出弗吉尼亞方案，提供新憲法藍圖。麥迪遜的方案提出了政府三權分立（立法，行政和司法），根據人口比例選舉國會兩院。
方案體現了麥迪遜的中央集權理念，參議院能夠否決州政府法律，許多代表對此深感驚愕。不過，華盛頓和富蘭克林等要員卻表示讚同，代表們隨後進入秘密分會商榷。
在製憲會議上，麥迪遜發言兩百多次，對會議作了隨筆記錄，成為唯一的完整曆史記錄。曆史學家克林頓-羅斯托稱讚麥迪遜的表現：“集才華，經驗，決心和想象之大成，連亞當斯（John Adams）和傑斐遜都不能披靡。”
雖然弗吉尼亞方案隻是草擬，辯論過程中大幅修改，但仍使麥迪遜被譽為“憲法之父”。麥迪遜希望南方諸州和北方各州，都能通過類似弗吉尼亞方案的憲法。然而，小州代表們提出對立的新澤西方案，羅傑-謝爾曼提出康涅狄格妥協方案，以平衡大小州權益。
在會議過程中，參議院各州平等列席，各州議會選舉參議員。麥迪遜勸說各代表召開特別大會批準憲法。也確保美國總統有能力否決聯邦法律。
憲法內涵的大多數矛盾最終是平衡地方與中央主權問題，麥迪遜最終的貢獻不隻是設計某一個憲法框架，而是在辯論上達成妥協，讓中央和地方政府“分享主權”。
《聯邦黨人文集》
1787年9月，費城製憲會議閉幕，美國憲法遞交到各州等待批準。各州應邀舉行特別會議來商榷是否批準憲法。麥迪遜回到紐約，參加邦聯會議。他說服議員讓各州就費城會議憲法投票，並在辯論中保持中立。
在紐約時，漢密爾頓找麥迪遜幫助撰寫《聯邦黨人文集》，該文集在紐約報刊上連載85刊，解釋並且支持憲法。在Publius筆名下，漢密爾頓，麥迪遜和約翰-傑伊在6個月內寫了85篇文章，其中麥迪遜寫了29篇。文章也以書本形式出版，是會上所有讚成憲法的辯論家所持的必備手冊。
曆史學家克林頓-羅斯特稱《聯邦黨人文集》是“政治科學中最重要的作品，或者說在美國是空前絕後的。”麥迪遜對文集首篇貢獻是第十章，因倡導代議民主製而在二十世紀頗受重視。
1788年6月2日，當弗吉尼亞修憲大會召開時，憲法還沒有得到所需9個州的批準。紐約州是當時第二大的州，持死硬態度反對聯邦主義，若弗吉尼亞不批，紐約州也不批，華盛頓也當不成總統。
帕特裏克-亨利（Patrick Henry）可以說是最著名的反對聯邦主義者，最強演說家，是與會代表中，支持率僅次於華盛頓的人物。最初，麥迪遜不想參與弗吉尼亞修憲會議選舉，但因反聯邦主義的勢力太大，不得不投身其中。
會議伊始，麥迪遜明白大多數人主意已定，便尋找那些搖擺不定的少數人，盡力爭取他們的支持。雖然亨利是當時最強大的戲劇演說家，但麥迪遜精通專業，能夠理智沉著地應對亨利的煽情。
1788年6月25日，大會投票以89對79通過了憲法，弗吉尼亞成為第十個批準憲法的州。紐約在一個月以後批準，成為第十一個州，華盛頓在首次總統選舉中獲勝。
國會成員
入選國會輔佐華盛頓
在弗吉尼亞批準憲法後，麥迪遜回到紐約繼續履行邦聯議會的職責。在華盛頓的邀請下，麥迪遜競選參議員，但被帕特裏克-亨利阻攔，還找到詹姆斯-門羅作為麥迪遜對頭。門羅感到難對付，麥迪遜不得不做妥協，最後以57% 的得票入選國會。
麥迪遜成為國會議員（Madison as Congressman）
就任初期，華盛頓總統認為麥迪遜最能理解憲法，讓他成為主要顧問。麥迪遜幫助華盛頓撰寫了第一篇就職演說，他還協助湯瑪斯-傑斐遜出任國務卿。
權利法案
1789年6月8日，麥迪遜遞交法案，並送入參議院審議。參議院繼續修改，自己做出更正，1789年9月24日，委員會做出最終報告，將修正案送入兩院審議。1789年9月25日，最終版本在國會通過。憲法修正案的第1-10條，即權利法案。
由於權利法案不能對州政府行為進行保護，麥迪遜感到很失望，但是法案緩和了對憲法的批評，為麥迪遜贏得了支持。在遞交權利法案時，麥迪遜的貢獻在於確保新聞自由，保護財產免於政府侵犯，以及陪審團審案。
成立民主共和黨
18世紀90年代，華盛頓政府形成兩大對立派係：一個以傑斐遜和麥迪遜為首，代表南方利益，希望與法國結盟，向西擴張。另一個以財政部長漢密爾頓為首，代表北方金融利益，希望與英國重新交好。
1790年，漢密爾頓提出雄心勃勃的經濟計劃，呼籲聯邦政能府承擔州債，通過發行債券來融資。漢密爾頓的計劃傾向於北方的投資方，弗吉尼亞已經付清了債務，所以麥迪遜大力反對。
在長期的立法僵局之後，麥迪遜與漢密爾頓達成了1790年的妥協方案，使得漢密爾頓可以通過1790年的融資開始行動。對此，國會也通過了選址法，把聯邦政府建都在波托馬克河畔的華盛頓哥倫比亞特區（Washington，DC）。
1791年，漢密爾頓提議建立國家銀行，對危機行業提供貸款，監督貨幣供應。麥迪遜表示反對，稱此沒有憲法依據。國會通過了法案，設立第一個國家銀行，華盛頓考慮否決，但還是簽了字。漢密爾頓的經濟計劃大多數通過，麥迪遜擔心北方金融利益膨脹，會壟斷新生的共和國。
1793年，英法開戰（法國大革命時期），美國被夾在中間。1778年與法國的盟約依然有效，但國家大多數貿易是對英國的。雖然革命變得日益血腥，傑斐遜和麥迪遜還是看好法國大革命，但華盛頓宣布美國中立。
華盛頓為了避免戰爭，通過1794年傑伊的協定保證了對英國的貿易。麥迪遜反對協定失敗，言辭尖刻，這導致了與華盛頓永久決裂，兩人長期友誼就此告終。
國家最初的兩個主要政黨日漸分化。反對華盛頓政府政策的，包括了許多以前的反聯邦主義者，冠名“共和黨人”，合倂為民主共和黨。支持政府政策的冠名“聯邦黨人”，在漢密爾頓的領導下組成聯邦黨。
1793年，當傑斐遜離職時，麥迪遜成為民主共和黨的實際領袖。1796年總統大選將至，麥迪遜說服傑斐遜競選，還為傑斐遜競選做鋪墊，在各州爭取支持，希望能夠確保傑斐遜的勝利。
盡管麥迪遜極為努力，聯邦黨人約翰-亞當斯仍以微弱優勢勝出，在選票上擊敗了傑斐遜。麥迪遜於1797年離開國會，回到蒙彼利埃莊園。
雖然不在任，麥迪遜依然是民主共和黨的領袖，反對亞當斯政府。傑斐遜於1800年再度競選總統，麥迪遜再次擔任大選主管。選舉結果不相上下，最終眾議院做出決定，傑斐遜勉強勝出。
婚姻與家庭
1794年9月15日，43歲的麥迪遜在哈伍德結婚，迎娶26歲的寡婦多莉-佩尼-托德（Dolly Penny Todd），麥迪遜在國會任職時遇見過她。1794年5月，麥迪遜要求好友阿龍-伯爾（Aaron Burr）做媒，同年8月，多莉接受了。麥迪遜沒有自己的孩子，在婚後領養了妻子的兒子約翰-佩尼-托德。
在丈夫擔任國務卿時，多莉將自己的社交才能應用於華盛頓的政界。在白宮建設時，協助裝修，對喪偶的總統湯瑪斯-傑斐遜，充當臨時第一夫人。在丈夫做總統時，她樹立了第一夫人的榜樣，用自己的社交才能助推項目。因為夫人的緣故，麥迪遜在任時得到了更多的擁護。
1801年，老麥迪遜去世，50歲的麥迪遜繼承了蒙彼利埃種植園和其它遺產，包括父親的108個奴隸，開始管理父親產業。
國務卿（1801–1809年）
傑斐遜希望確保政府的對外事務，麥迪遜雖然外交經驗不多，但還是被任命為國務卿。他與財政部長艾伯特-加勒廷一起成為內閣的主力。拿破侖的得勢讓民主共和黨反胃，麥迪遜在英法之間的戰爭中尋求中立。
在傑斐遜任期之初，美國獲悉西班牙想把路易斯安那還給法國。1802年，傑斐遜和麥迪遜派詹姆斯-門羅去購買新奧爾良，該城控製著密西西比河的河口，對美國邊界居民十分重要。
雖然拿破侖還想在路易斯安那重建帝國鎮壓起義，但最後還是把注意力轉向了歐洲。拿破侖政府不但出售新奧爾良，還把整片路易斯安那拋售。雖然沒有得到總統的明確許可，大使羅伯特-利文斯頓（Robert Livingston）和詹姆斯-門羅就決定購地，以150萬美元購得路易斯安那800,000平方英裏的土地。
路易斯安那購買（Louisiana Purchase）
當歐洲混戰一團時，麥迪遜努力使美國中立，強調根據國際法的美國合法權利，倫敦和巴黎不屑一顧。形勢在傑斐遜第二任時更加惡化，拿破侖在奧斯特裏茨的戰役中大獲全勝，所以變得咄咄逼人，希望通過禁運使英國屈服。
傑斐遜和麥迪遜決定對英法禁運，禁止美國與外國的經貿往來，從而造成沿海經濟困難。東北聯邦黨人殺回來攻擊禁運令，禁運令在傑斐遜離任時才結束。
1808年大選
在傑斐遜第一任時，人們就認為麥迪遜會接班。禁運令在全國，特別是在東北引起的反感，傷害了麥迪遜在黨內的聲望。1800年後聯邦黨垮台了，傑斐遜和麥迪遜的主要對手是來自黨內的競爭。
麥迪遜成為第三派的領袖，成了議員約翰-倫道夫的攻擊對象。倫道夫批評傑斐遜政府濫用權力而支持門羅，許多北方人希望副總統喬治-克林頓能夠接任總統。
即便如此，麥迪遜在1808年1月還是獲得了黨內候選人的提名。聯邦黨人在新英格蘭之外的努力毫無效果，麥迪遜輕鬆擊敗了對手查爾斯-平克尼而當選為總統。麥迪遜身高僅5英尺4英寸（163厘米），體重近100英磅（45公斤），成為總統中的小不點。
第一任期的麥迪遜總統（President Madison in First Term）
總統（1809–1817年）
1809年麥迪遜就任後提名艾伯特-加勒廷為國務卿，立刻遭到參議員威廉-賈爾斯反對。麥迪遜沒有與國會爭執，而是將加勒廷留任財政部。此人成了麥迪遜的主要顧問，密友以及政策的策劃人。麥迪遜的內閣成員能力平平，以國家利益和政治和諧而入職。
1812年戰爭
前奏
在麥迪遜就任總統前，國會取消了禁運令，但美國與英法關係還是有問題。在與法國貿易的爭執外，美國與英國的鬥爭在於英國強製征兵。英國與法國打仗多年，耗資巨大，許多英國人被海軍拉去服役，不少海軍逃到美國商船。
為了追回逃兵，英國扣留了一些美國船隻，逮捕水手，抓回海軍，其中一些人不是英國人。美國人對此頗感憤怒，但無動於衷，沒有拒絕逃來的英國水手。就經濟原因來說，美國商船寧可被拉走，也不願放棄這些英國雇員。
麥迪遜總統希望讓英國撤回通緝令，雖然最初看來不錯，但在1809年，遭到英國外相喬治-坎寧的拒絕。1809年8月，英美關係交惡。拿破侖希望挑撥英美關係，聲稱隻要美國對所有不終止禁運令的國家進行懲罰，法國就不會騷擾美方船隻。
麥迪遜接受了拿破侖的建議，希望英國能夠取消通緝令，但遭到拒絕。雖然嘴上說的好，但仍舊騷擾不斷。美國船隻繼續挨打，麥迪遜和美國公眾都準備與英國開戰。
許多美國人稱這是“第二次獨立戰爭”，希望能夠為新國家爭得榮譽和地位。憤怒的公眾選舉“戰爭鷹派”國會。此時，英國正在與拿破侖作戰，麥迪遜稱許多美國人認為美國可以輕易拿下加拿大，用作談判籌碼，或是幹脆納入囊中。
1812年6月1日，麥迪遜到國會請求開戰。派係和政黨對立明晰，聯邦黨和東北部經濟因傑佛遜禁運令而受到重創，所以表示強烈反對。但是1812年6月18日，美國向英國宣戰。
麥迪遜急忙召集國會，要求國會“應對危機，拿起武器，精神戒備”，特別要求擴充軍隊，預備民兵，完備軍事，積累武器，擴充海軍。
麥迪遜遇到許多障礙：內閣紛爭，黨派林立，國會不服，州長作梗，將軍不力，民兵拒絕到州外作戰。最大的問題是戰爭得不到廣大民眾的支持。新英格蘭不團結而且威脅嚴重，當地人與加拿大人走私，拒絕出錢出力出人。
歐洲形勢也對美國不利，在美國宣戰後不久，拿破侖入侵俄國失利，導致戰況優勢從法國轉向英國。早些年，傑斐遜和麥迪遜裁軍，關閉國家銀行和減稅。這些決定都給戰爭造成麻煩，以至於開戰之初，麥迪遜手下隻不過是一些半路出家的民兵。
軍事行動
麥迪遜希望幾個月後拿下加拿大，但夢想很快破滅。麥迪遜還希望州民兵能夠響應號召，衝入加拿大，但是東北各州長拒絕合作。民兵要麽幹坐不動，要麽拒絕離開州境。戰爭部高級將領要麽不稱職，要麽不勇猛，底特律的一位將軍還沒開槍就向小股敵軍投降。
麥迪遜政府發現戰爭經費根本沒法支付，國家銀行關閉，新英格蘭主要財團拒絕支持，囊中羞澀，捉襟見肘，英軍開始武裝美洲印第安人，在西北位置威脅美國。
1812年戰爭開局不利，麥迪遜接受了俄國的調停，美國取得了一些軍事進展，特別是在海上，美國商船隊，盡管麥迪遜解散了其中一部分，還是世界上最大的。
麥迪遜允許這些船隊在戰爭中充當私掠船，它們搜捕了1,800多艘英國船隻。作為戰爭的一部分，在美國紐約港設立了一座海軍船塢，數千人生產了12艘戰船，戰爭末了還有好些沒有下水。
美國海軍艦隊在伊利湖不但成功自衛降服了對手，而且把英軍在西部戰場上的補給和支援予以重創。在伊利湖戰役後，將軍威廉-亨利-哈裏森（William Henry Harrison）擊敗了英軍，還有西北美洲原住民的武裝反抗。
1814年3月，將軍安德魯-傑克遜（Andrew Jackson）在西南戰役中，擊敗了英軍的盟友馬斯科吉。但是英軍挫敗了美軍對加拿大的進攻，1813年末，英軍攻破尼亞加拉堡，火燒水牛城。1814年初，英軍同意在根特協商和平，並在協定中要求在西北建立起印第安屏障州。
1814年3月，拿破侖在巴黎戰役後退位，英國開始向北美增兵。1814年中期，美軍雖然取得幾個戰役的勝利，但攻勢再度受阻。
與此同時，英軍對大西洋海岸襲擊程度和烈度加大。1814年8月，大量英軍在切薩皮克灣登陸，8月24日逼近首都華盛頓。英軍火燒了華盛頓的聯邦建築。在火燒白宮前，第一夫人多莉-麥迪遜搶救了白宮的細軟和文件，包括華盛頓總統的大幅畫像。
英軍火燒白宮（British Army Firing White House）
英軍準備前往巴爾的摩（Baltimore），但是美軍在保衛麥克亨利要塞（Ft McHenry）的成功，使得英軍被迫召回。麥迪遜於8月末之前返回華盛頓，英軍主力在9月離開了此地。後來英軍希望從加拿大入侵，但是1814年美軍獲勝，打破了英軍征服紐約的美夢。
新任戰爭部長詹姆斯-門羅認為英軍會進攻新奧爾良，命令傑克遜將軍守城。此時，英國公眾開始反戰，領導人開始尋求後路。1815年1月8日，傑克遜在新奧爾良戰役中獲勝。
同年一個月之後，麥迪遜獲悉談判達成了根特條約，雙方停戰，互不讓步。此外，雙方同意就英美邊界爭議設立委員會。麥迪遜立刻將根特條約送往參議院，參議院於1815年2月16日批準。
對於大多數美國人來說，戰爭末期快速更替，包括火燒首都，新奧爾良戰役和根特條約，似乎顯示了美軍在新奧爾良的英勇迫使英國投降。麥迪遜總統聲望上升，美國人認為自己是世界強國了。1815年6月，拿破侖戰敗滑鐵盧，戰爭結束，備受騷擾的美國船隻得以解放。
戰後經濟和國內改進
戰後，在麥迪遜的第二任期，美國進入了好感的時代，反對黨聯邦黨已經分崩離析。麥迪遜選擇了詹姆斯-門羅為他的接班人，門羅在1816年選舉中輕易地擊敗了聯邦黨的總統候選人。
1811年，麥迪遜主持美國第一國家銀行關閉。然而，戰爭使他相信中央銀行是需要的，幫助政府借錢，控製通貨膨脹。1816年，他簽署法令，組建第二家國家銀行。1816年，戰後退休金也以半價發給軍屬孤兒寡婦，為期5年。
麥迪遜很認同許多項目“最好由國家權力執行”，包括聯邦支持修路和開河，然而，在離任之前，他最後還是否決了1817年福利法案，法案準許為修路，橋梁，河道提供更多的融資。
第二任期的麥迪遜總統（President Madison in Second Term）
印第安人政策
1809年3月4日就任後，麥迪遜在第一個就職演說中，稱聯邦政府的職責是將美洲印第安人歸化，類似於傑佛遜，麥迪遜對美洲印第安人采取家長製，鼓勵原住民放棄狩獵，成為農民。
隨著移民西進湧入印第安人的領土，麥迪遜命令美軍，保護原住民的土地不受移民侵犯，這讓安德魯-傑克遜將軍十分懊惱，傑克遜希望總統能對印第安人請求置之不理，因而拒絕執行指令。
在1811年以後，西北部地區的印第安人被趕出部落土地，由白人占據。到1815年，40萬歐裔美國人定居在俄亥俄州，印第安人土地權益最終被廢止。
晚年
1817年，65歲的麥迪遜卸任，回到弗吉尼亞橙郡的蒙彼利埃煙草種植園，離傑斐遜的蒙蒂塞洛不遠。和華盛頓，傑斐遜類似，麥迪遜卸任總統後比之前更窮了。由於煙草降價，繼子管理不當，他的種植園財務慢慢垮掉。
退休後，麥迪遜有時參與公共事務，當安德魯-傑克遜和其他總統的顧問。但就密蘇裏妥協而言，他置身於外。1824年總統選舉有四位主要候選人，麥迪遜與他們交情不錯，不過，他和傑斐遜一樣置身於外。
在傑克遜任期時， 麥迪遜幫助傑斐遜建立弗吉尼亞大學，但大學主要仍由傑斐遜牽頭。1826年，在傑斐遜去世後，麥迪遜被任命為大學的第二任校長，任職十年，直到1836年去世。
1829年，78歲的麥迪遜被選入弗吉尼亞製憲會議來修改州憲法。這是他最後一次以政治家的身份公開露麵。西部改革派希望將投票權給與所有白人男子，突破財產限製。麥迪遜努力撮合妥協但無果，麥迪遜感到很遺憾。
晚年，麥迪遜高度關注晚節。他經常修改自己的信件和其它文件，更改時間日期，增減文字句子。在70歲末，這種“修正”成為嗜好。例如，有一封信寫給傑斐遜，他不但把原先段落塗掉，而且偽造傑斐遜的筆跡。
曆史學家安德魯-麥考伊稱：“在最後6年中，他深陷個人財務泥潭，幾近被吞沒... 精神焦慮弄垮了身體。在1831-1832年間，他臥床不起，不然就沉默無語... 他焦慮患病，因別人無法理解自己而感到絕望。”
1836年6月28日上午，麥迪遜在蒙彼利埃長眠。他被葬於蒙彼利埃家庭墓地。他是國父群中最後離開的重要人物。遺囑中，他把大筆錢留給美國殖民協會，弗吉尼亞大學，普林斯頓大學，給妻子多莉3萬美元。麥迪遜實際留給多莉的錢不多，多莉在財務上麻煩不少，直至1849年去世。
麥迪遜在蒙彼利埃的墓地（Madison Grave in Montpelier）
政治與宗教觀
政治主張
詹姆斯-麥迪遜是美國“國父群”中的一位，他主張建立強而有力的中央政府，並且全盤修改邦聯條款，是一位聯邦主義者。他對民主的見解被後世喻為“麥迪遜民主”。
避免所有權力集中在同一些人手中，無論是一人，少數人抑或多數人，以及無論是以世襲，自封還是選舉。主要的方式是權力分立，兩院製和聯邦體製等。
宗教
麥迪遜年輕時雖然接受長老宗牧師教育，但卻喜歡閱讀英國自然神論。成年時，他很少關注宗教事務。
奴隸製
麥迪遜在的種植園使用奴隸做勞工，他認為這是南方經濟的必要成分，但是奴隸人口不斷擴大，他擔心這樣的基礎會造成社會不穩定。
在18世紀80年代晚期，他想到在非洲建立殖民地。在19世紀30年代，麥迪遜擔任美國殖民協會的一任主席，協會為原奴隸在利比裏亞建立一個安置地。
遺產
曆史學家加裏-威爾士寫道：“麥迪遜並非因始終如一，或擔任總統而贏得我們的尊敬。他有別的美德。... 作為憲法作者和衛士，他無可披靡。 ... 作為總統，麥迪遜最佳業績是捍衛憲法。... 無人能為國家麵麵俱到，華盛頓也不行。麥迪遜比許多人做得多，做得好，這就足矣”。
美國的一些地方以麥迪遜命名，包括威斯康星州的首府麥迪遜，阿拉巴馬州的麥迪遜郡。還有一些地方有麥迪遜廣場，麥迪遜大學和海軍麥迪遜號潛艇等。
詹姆斯-麥迪遜紀念堂成為國會圖書館的一棟建築。1986年，國會為紀念憲法兩百周年而建立了詹姆斯-麥迪遜紀念基金會。
麥迪遜家人在蒙彼利埃（Montpelier）的種植園也成了曆史名勝，我於2012年9月5日曾經造訪過蒙彼利埃，在導遊的帶領下，參觀了莊園的裏裏外外，並與他們夫婦的雕像合影留念，我一個中等身材的人，與麥迪遜總統坐在一起，竟然成了一個“彪形大漢”。
蒙皮利埃莊園（Montpelier）
詹姆斯-麥迪遜（James Madison）
多莉-麥迪遜（Dolly Madison）
我與麥迪遜夫婦（Together with Madison & His Wie）
