你忽略了一件事

香港回歸，是中國和英國談判，沒和香港人談判。
港人治港，基本法權利，是中央政府賦予香港人民的權利。

說白了，香港回歸，香港人有走和不走的權利，願不願意，都是要回歸的。