香港联交所的上市公司如果选择退市，并不一定需要先将钱还给所有投资人。上市公司退市通常分为主动退市和被动退市。主动退市，如公司被收购或私有化，公司可能会以高于市价的价格向股东回购股份。在这种情况下，股东可以选择接受回购，也可以选择在场外市场出售股份。被动退市，例如因不符合上市要求，公司股票会被移出交易所，股东的股份通常会在场外市场交易，虽然流动性较差，但股东仍然保有股份所有权。

在不涉及收购或私有化的情况下，上市公司退市不会自动导致公司向股东退还投资款。股东可以在场外市场尝试出售股份，但交易条件和价格需由买卖双方协商。因此，除非有特定的回购安排，否则上市公司不需要在退市时直接向所有投资人返还现金。