張耀曾決心退出政壇,一九二九年一月六日在何海秋的經濟幫助下,他決定在上海執律師業。一月十九日的日記自述,做律師,“入民間服務,此為起點”。一月二十六日他自剖心跡,之所以作出這一決定,“則以收入可望增加,政治可望參與,皆名利之動機也。”二月四日,上海律師公會開會通知他入會一事。他的律師生活,自此實現。三月十二日,張元濟得知這一消息,來信祝賀,“世風日下,得有端人君子砥柱其間,適為社會之幸。”十二月三十一日,他在日記中說:“從前以政治為生,今則以律師職業為生;從前與一般社會相遠,今則置身一般社會中。”他生命的最後八年,以律師身份服務社會,為貧弱者仗義執言,不計報酬,不畏強橫,負責的精神,浩然的正氣,專業的水準,都令人動容。他同時在上海幾家大學的法學院兼課,他與胡適多有交往。一九二九年,胡適任校長的中國公學力邀他出任法學院長,他堅決推辭。
張耀曾初任律師,第一次出庭即打贏官司。一九三〇年二月十七日的日記說:“餘昨夜睡眠尚佳,故是日辯論從容,聲音清晰,頗能動聽,結果法院大體采用餘說,判決被告無罪,可謂餘第一案勝利也。”五月二十一日,“繼思為窮人作義務辯護,實律師本分,不可不一為提倡。”當時有一個使用偽幣案,嫌疑人是一個十九歲的廣東少年胡樹蓉,他義務出庭,力為辯護,結果判決無罪。最為有名的是一九三〇年的日商三井起訴中國商家案,他以原告三井洋行未在中國注冊,沒有法人資格,以有限公司名義起訴,不合法,請求法庭駁回。法庭裁判令其補正。六月十八日再次開庭,原告律師提出抗辯,“餘一一反駁,立談約一小時,詞旨明快,字句清晰,尚不失廿年前風度,差自慰也。”
同年七月,他受托為一受凶暴摧殘的弱女子義務打官司,不收分文報酬。七月二十日,有人告訴他對方很凶悍,揚言“對於本案倡言非流血不可”,勸說以和解為宜,另外兩律師聽得對方如此凶惡,都說:“則吾輩做律師者,豈不危險?”他的回答是:“危險與否,雖不可知,但律師有擁護人權之責,豈能畏彼強禦?袁世凱尚有倒亡之日,況董俞為惡,能有幾何?”依然決定照原計劃進行訴訟。七月二十一日日記說:“誠以律師有擁護人權之責,今有弱女子受凶暴摧殘,乃至無人敢為在法律上說話,豈非律師之恥?餘所以毅然為此,不過欲矯正風氣,扶植道義耳。”當天他在法庭上辯論半小時,“聲音清晰,理路不紊,自問尚屬不惡。”
一九三二年九月,他介入黃金榮、聶榮卿等敲取良民財產案,為被告弱者葉蔭三一家仗義辯護,不怕得罪黃金榮等大流氓。二十一日,他在日記中說到此案,“可察知法律與惡勢力之消長與社會黑暗之實狀”,“雖知與此種惡勢力抗,殊多危險,然職責所在,亦不敢辭。”二十二日,他與律師沈鈞儒一起分析案情,沈鈞儒說:“吾輩正直,彼等似頗畏憚,然言語亦特須謹慎,不能不防其陷害也。同為一歎。”
他為被誣“殺人、放火、侵占、搶劫”的新疆主席金樹仁辯護,曆時三年,遍查中、日法書,答辯書“字字皆核實,句句欲錘煉”。一九三五年三月三十日開庭,“雖聲音不如往日之清亮,但精神貫注,頓挫合節,一氣嗬成,似頗能吸收聽者精神,使其感動。”旁聽者的二百人無不屏息,其中有低聲叫好者,閉庭後才知叫好者本是站在反對金樹仁立場的回民。記者紛紛上前表示讚歎,願為宣傳。“晚上本日演說,時間太長,聲音不免幹啞。又因事實太多,不能盡記,須時時朗讀原文。較之‘昂然四顧、口若懸河、風動濤驚、橫卷四座’之往時做法,尚不逮甚遠。”
一九三六年的“七君子”案,他雖不讚同救國會關於組織“人民陣線”,與共產黨合作等主張,但還是出麵為沈鈞儒等辯護,為他們的出獄而奔走。案發之前,六月十日,沈鈞儒將去南京,他懇切力勸老友:“言動勿過偏激,尤須通觀事實,自有主張,勿為他人利用而不自知。”
一九三七年五月五日,他從黃炎培那裏得知,沈鈞儒等七人仍須判罪後,送反省院保釋。他認為判罪與否本是法官的權限,而國民黨當局老是說判罪後如何,好像判罪完全由當局決定的,為中國司法的不獨立而感歎。這一切他都詳細記在日記裏。直到七七事變後“七君子”獲釋,他才鬆了一口氣。