李飛飛1976年出生於中國大陸北京，在四川成都長大，12歲時，父親遠赴美國。四年後1992年，15歲的李飛飛隨母親一起赴美國新澤西州帕西帕尼-特洛伊山，與父親團聚並移民定居[9]。剛到美國的最初兩年，家庭生活拮據，她曾到餐館打工，做過家庭清潔工；父母後來跟親友借錢，開了一家幹洗店經營[10]。初到美國的她需從頭開始學習英語，就讀位於新澤西的帕西帕尼高中，1995年以全班第六名的成績畢業，SAT取得1250分，其中數學得滿分800分，獲得了普林斯頓大學的獎學金，進入普林斯頓大學學習；在大學期間，大多數周末她都回家到父母的幹洗店幫忙工作，在校學習時課餘時間也常通過電話幫助父母接待幹洗店的顧客[10][9]。她日後的成就令她在2017年被帕西帕尼高中列入該校的名人堂[11]。
1999年，她在普林斯頓大學取得物理學高級榮譽學士學位。畢業後曾贏得獎學金前往西藏研究西藏傳統藥物[10][12]。2001年，她在加州理工學院開始研究生的學習和工作，師從計算機視覺業內專家Pietro Perona教授和克裏斯托夫·科赫教授，主要從事神經科學和計算機科學的交叉學科研究，2003年獲電氣工程科學碩士學位，2005年獲同一專業的博士（PhD）學位[4]，博士論文為"視覺識別：計算模型與人類心理物理學（Visual Recognition: Computational Models and Human Psychophysics）"，其博士研究獲得了美國國家科學基金會研究生獎學金和保羅與黛西新美國人獎學金的支
