8老師的回答正確。既然H-1,H-4 還有一年多才到期，可以照你問的最後問題去做：

如果真的要更新I-94，是不是可以拿著新換的護照到local CBP辦理，而不需要出入境？

可以。帶上H-1 passport, I-94。小孩新和舊的passports I-94 等證件到local CBP Deferred Inspection 辦理。說明情況，即可。You have nothing to lose.  It costs nothing. It won't do any harm even in the unlikely event CBP refuses.