高力士是馮盎的曾孫。聖曆初年,嶺南討擊使李千裏獻上兩個閹過的小孩,一名金剛,一名力士,由於他們非常穎悟,武後命令留在身邊供職。力士因受到牽連,被趕出宮,宦官高延福收養為子,所以改姓高。高力士與武三思關係很好,一年多後,再次得以進入皇宮,由司宮台供給衣食。長大後,他身高六尺五寸,辦事謹慎周密,善於傳達詔令,當了宮闈丞。
玄宗在王府時,高力士一心依附。平定韋氏後,他陳請歸屬內坊,被提升為內給事。先天年間,由於誅滅蕭至忠,岑羲等人的功勞,他擔任右監門衛將軍,主持內侍省事務。於是各地的奏疏請示先由他過目,然後才進獻上去,小事就由他獨自決定,即使沐浴,也從不出宮,每天就在殿內的帷帳裏就寢歇息,僥幸求利之徒希望見他一麵,就像去見天上之人。玄宗說:“力士值班,我才睡得安穩。”當此時,雖然宇文融、李林甫、蓋嘉運、韋堅、楊慎矜、王鉷、楊國忠、安祿山、安思順、高仙芝等人憑著才能和受寵才得到進用,但是都與高力士深深結納,所以才能很快官至將相,其餘承其風旨、順從依附的人不可勝計,都達到了目的。宦官如黎敬仁、林昭隱、尹鳳翔、韓莊、牛仙童、劉奉廷、王承恩、張道斌、李大宜、朱光輝、郭全、邊令誠等人,都在內廷供職,或者出任節度使的監軍。修功德,購鳥獸,都要讓這些人擔任使者,使者回來後搜刮到的財物動不動就數以萬萬計。京城的上等宅第、池塘園林、良田美產,被他們占了十分之六,受到的寵愛大致與高力士相等,但他們全靠高力士把握輕重,才能如此。肅宗在東宮時,把高力士當作老兄,其他諸王公主稱他為高翁,皇戚各家尊稱他為阿偺,玄宗有時不叫他的名字,而稱他將軍。
高力士幼年與母親麥氏失散,後來嶺南節度使在瀧州找到她。迎接回來後,高力士記不住也認不出母親。母親說:“你胸上是不是有七個黑點?”高力士袒胸一看,一如所言。母親拿出金環,說“這是我兒佩帶的”,便相抱放聲痛哭。玄宗封他母親為越國夫人,追贈他父親為廣州大都督。高延福和妻子在高力士顯貴時仍然活著,受到的奉養與麥氏相同。金吾大將軍程伯獻與高力士結為兄弟,後來麥氏亡故,程伯獻身穿孝服,接受吊唁。河間男子呂玄晤在京城擔任吏職,兒女有國色,高力士娶了她,呂玄晤由刀筆吏被提升到少卿,子弟都官為王傅。程玄晤的妻子去世,朝廷內外贈送助喪的財物,為她送葬,從住處到墓地,車馬人力前後相望,絡驛不絕。
起初,李林甫、牛仙客知道玄宗怕因前往東都致使京城漕運供給不足,便采用征糧的辦法佐助漕運。及至采用和糴法,幾年後國家用度逐漸充實。玄宗在大同殿齋戒,高力士身邊侍候。玄宗說:“我將近十年沒離開長安,天下太平無事,朕準備吐納導引,把天下事務交給李林甫,你看怎樣?”高力士回答:“天子順時而動,是古代的遺製。稅收有常法,人民就不會訴說勞苦。現在征糧充實漕運,我擔心會使國家連十天一月的積蓄都沒有了。不停止和糴,私人的儲存就會耗盡,追逐末業的人就會為數眾多。而且天下大權不能交給別人,威勢和權力把握好了,誰敢妄加評議!”玄宗不悅,高力士伏地叩頭,說自己“精神失常,說的不對,該當死罪”。玄宗設宴相待,侍臣高呼萬歲。從此,高力士回到內廷的住處,不再辦事。高力士曆經升遷,成了驃騎大將軍,封為渤海郡公。他在來廷坊修建寺院,在興寧坊設立道觀,用珍寶裝飾樓閣屋宇,連國家也拿不出這麽多資財。鍾鑄成了,高力士宴請公卿,敲一下鍾,要交十萬賀禮錢。有些諂媚討好的人敲鍾多達20下,敲得少的,也不少於10下。他還在京城北麵的灃水上築堰,設下五盤水磨,每天的租價為糧食300斛。
有個叫袁思藝的,也深受玄宗的寵愛。然而,他非常傲慢,士大夫都怕他,疏遠他。而高力士陰柔機巧,受人稱譽。起初,玄宗設置內侍省監兩員,職位三品,讓高力士和袁思藝充任。玄宗逃往蜀地時,袁思藝向叛軍稱臣,而高力士跟隨玄宗,進升為齊國公。玄宗得知肅宗即位,高興地說:“我兒上應天意,下順民心,改年號為至德,不忘孝順,我還有什麽可愁的!”高力士說:“東西兩京失守,百姓流散逃亡,黃河以南、漢水以北地區成為戰場,天下人為之痛心,陛下卻認為無可憂慮,臣不敢苟同。”隨太上皇返回京城後,進升為開府儀同三司,實封五百戶。
太上皇搬到太極宮,才過了十天,受李輔國的誣陷,高力士被削除名籍,遠遠流放到巫州。高力士正在功臣閣下發瘧疾,李輔國以詔書來召高力士,高力士快步來到閣外,李輔國打發內宮雜職人員把貶逐製書交給他,他便說:“我早該死了,隻是天子可憐我到今天。希望見陛下一麵,死不遺憾。”李輔國沒有允許。
寶應元年,高力士遇赦回京,見到玄宗、肅宗的遣詔,麵向北方,哭得吐了血。他說:“皇上去世,我不能摸一摸棺木,死有遺恨。”便痛哭而死,當時79歲。由於他護衛先帝的勞績,代宗為他官複原位,追贈揚州大都督,陪葬泰陵。
起初,太子李瑛被廢,武惠妃正受寵愛,李林甫等人都屬意壽王,玄宗因肅宗年長,沒拿定主意,平時意緒惆悵,不思進食。高力士說:“陛下不吃飯,是由於沒有美食嗎?”玄宗說:“你是我家的老人了,猜我為什麽這樣?”高力士說:“是嗣君沒有決定吧,推舉長子,立為嗣君,誰敢爭議!”玄宗說:“你說得對。”於是決定了誰當太子。
天寶年間,邊防將領爭著立功,玄宗有一次說:“朕年紀大了,朝廷小事交給宰相去辦,異邦外族不恭交給諸將去管,難道不清閑嗎!”高力士回答:“我近來前往閤門,看見奏事人說雲南屢次損兵折將,加之北方軍隊驃悍強盛,陛下拿什麽去控製他們?我怕禍患釀成,難以製止。”他的意思大概說的是安祿山。玄宗說:“你別說了,朕將計議此事。”天寶十三載秋天,天降大雨,玄宗見身邊沒人,就說:“現在正在大雨成災,你應該說說看法。”高力士說:“自從陛下把權力交給宰相後,法令不行,陰陽失調,天下的事情怎會重歸安寧?我閉口不言,是時代的原因。”玄宗沒有答話,第二年安祿山反叛。
高力士善於揣測時運,事奉權勢,觀察朝廷上下的態度。即使是自己親昵的人,到他垮台時,也不肯出力搭救,所以一生沒有明顯的重大過失。議事者深惜宇文融以來權利傾軋,成為天下大禍的根由,而高力士雖有補益,卻沒有將他除去。