一九二七年十月一日,張耀曾日記寫道:
近日殺伐之聲滿全國,晉奉有戰,魯豫有戰,漢寧有戰,浙寧有戰,粵有戰,滇有戰,一時戾氣雲擋,金鼓地震……餘有激言,民國以來,自命健者,競言治理,計劃萬端,標舉爭行,曾無幾時,無不潰敗,而亂乃益劇。而最切近最明白之一件事,總不能做,且不肯說。此事為何?即“罷戰”二字而已。餘以為,我國不要什麽主義,不要什麽政策,更不要許多辦法,隻要大家拋棄一切軍備,絕對斷絕一切內戰,則三年而民安,五年而民樂,十年而精神與物質之文明將為五洲冠。
一九三二年一月四日,他在上海公宴馮玉祥時說:“現代任何國家,養兵皆以對外,無用之內戰者,獨中國猶襲二千年封建思想,內爭不已,亡國之原在此,非從此改革不可。”
看著軍閥們整天殺來殺去,這位書生政治家深感無力,一九二七年夏天,他辭去法權討論委員會一職,閉門養病,讀書明誌,就是要遠離是非漩渦。(1928年6月3日,知張作霖離開北京,他在日記中說,從政十多年,未曾與“東北王”張作霖一通款洽——“餘素拒斥軍閥,故亦不為軍閥所喜,去歲張自稱大元帥,餘即日離去法權討論會委員長職務,避之惟恐不速。”)
他在民國官場上浮沉十多年,三入內閣,一旦下野,竟連生活都有問題。一九二八年三月二十三日,他說:
餘半生奔走,所得私產,僅此地四畝,房四十餘間。此外,不但毫無積儲,且有負債(因團體事負債除外)。今生活困窮,並此區區不動產,亦將不保……
在離開政治舞台的日子裏,他日日自省、反思,骨子裏還是個讀書人——“喜觀天、親自然、愛學習、善思考”的“做學問的讀書人”。一九二七年十月十二日,他在日記說:“連日戰事傳說不一,餘則此心恬然,一切置之度外,仍作讀書作畫(即求真樂美)之生活。餘少喜吟詠,雖不善作詩,卻極喜讀詩。讀亦漫無軌轍,皆隨意翻閱。尤好吟詩,吟亦別無選擇,或間步,或飯餘,信口囈語,適意而已。”一九三四年十二月三十一日,又是一年將盡,他在日記中感慨:“惟餘除夏間讀書數種,思想少有進展外,均操筆為訴訟文字,別無著作,亦無事業,為可愧耳。”
他的讀書範圍很廣,不限於法學專業,對生物學、天文學、生命科學,對哲學、曆史、藝術、經濟、古詩等都有強烈的興趣,讀書筆記中時有一些獨到的心得體會。晚年他常在上海各大學講演,講學問之道,從這些講演中可以看出他的書生本色。
一九二九年三月十八日,他在上海江灣法科大學開學典禮上演講時認為,立言第一,其次立德、其次立功。他說,拿破侖縱橫歐洲,成吉思汗席卷歐亞,在他們個人固然是一世之雄,然從整個人類看來,並無多少價值。他所傾慕的曆史人物是達爾文、牛頓、馬克思、瓦特等人。十二月二十五日,雲南護國起義紀念日,他在中國公學演說,袁世凱稱帝,當時天下敢怒不敢言,而起義諸公敢起兵反抗,勇氣可佩。“曆史最重信實,我觀從來曆史,非強者自己誇耀,即狡者自己裝飾。盡信史不如無史,即如近年出版各種民國史料,亦半屬自己宣傳,屬於自己者誇耀之,不利於己者隱匿之。而不肯自己宣傳之人,則其事實無從表彰。”
一九三二年十二月二十八日,他到複旦大學演講《民國製憲概觀》,指出憲法的收效基於兩個要素,一是有實權者有誠意收束自己的實力,在憲法的規範內行事,認為非實行憲法不可,自己絕對遵守,即憲法乃有權者自己拘束自己的戒律;二是多數國民了解政治,有濃厚的政治欲,將憲法當做滿足這種政治欲的手段,絕對實行它、擁護它,即憲法乃國民的政治欲的表現。當時國內正爭言憲法,他認為比紙麵上製憲、國民會議上製憲更重要的是,要從國民自身製憲,從有權者的腦筋中製憲。
一九三三年十月二日,他在東吳大學法學院演講,因為世人重自然科學、輕社會科學,所以社會科學不夠發達,“自然科學不過利用厚生,而社會科學則在確知社會現象之因果律,順應之以創製社會新機構”,社會科學的責任重大。
一九三六年二月六日,他在青年會演講,“學問乃對於一切現象,求精密之認識”,探求社會生活根本法則,要從生物學、人類學、心理學、社會學、曆史學等入手,要站在自存心和同情心的中和點上,以改造社會一切機構,這是我們把握社會生活的大法則。