從有關文字看，潘應該是個清倌。據說當地有個權勢人物罩著她。

這是一篇網文的有關文字：

潘素彈得一手好琵琶，大量的客人慕名前來，天香閣也因此把潘素當成了搖錢樹。
潘素的名聲越來越大，傳遍上海，人稱“潘妃”。

當地的一個大官臧桌也聽說了潘素，於是連手上的工作也不管了，馬不停蹄趕到天香閣，隻為一睹潘素的芳容。
在見到潘素之後，臧桌一擲千金要娶潘素為妻。
潘素聞言，連連搖頭說“我不想這麽快就嫁人，先生還是另尋佳人吧。”
沒想到，臧桌竟說：“無妨，我願意等你。”

有一天，張伯駒到上海出差，經常聽到別人在討論潘素，說她精通才藝，擅長音律。
於是滿懷期待去了天香閣，想要看看這位別人口中的奇女子。
一曲過後，張伯駒眼神直勾勾看著潘素，回過神後，大筆一揮寫下了“潘步掌中輕，十步香塵生羅襪；妃彈塞上曲，千秋胡語入琵琶。”
張伯駒家產龐大，作為家裏唯一的兒子，他的父親為了讓他早點掌管家業，於是在張伯駒15歲的時候，把他送進了銀行工作。

張伯駒雖然從小嬌生慣養，但是他不追求金錢與名利，而是對書畫文章愛之入骨，尤其喜歡收藏文物。
在他的身上完全沒有紈絝子弟的影子，而是文人墨客的氣質。
在他寫下描寫潘素的詩後，潘素便對眼前之人暗生情愫。

5天很快過去了，張伯駒即將離開上海，他來到天香閣想要再見一次潘素。
潘素得知張伯駒即將離開上海，不禁悲從中來，失聲痛哭。
她不忍心愛之人就這樣離開，於是鼓起勇氣詢問張伯駒：“你可不可以帶我一起走？”
張伯駒一聽，甚是開心，因為他正有此意，於是連忙讓人拿贖金來。
沒成想，老鴇冷笑一聲道：“想帶走她？沒門”原來臧桌早已在老鴇那打好招呼了，不允許任何人帶走潘素，礙於臧桌的權勢，老鴇也不敢違背他，不然天香閣也別想開下去了。

老鴇為了防止潘素逃跑，於是將她關了起來，不許任何人見她。
張伯駒聽說此事後，花重金雇了幾名打手，趁著夜色偷偷潛入天香閣帶走了潘素，帶著她去了北京。