Границы! Вы применяете мои рекомендации не потому, что так правильно, а чтобы вам не страдать! Всего лишь!
Если же вы уехали и он как будто выдохнул и лишь дежурно интересуется, как вы там, значит, страха потери вас у него уже нет, и, увы, это не отдаление, а серьезный кризис или путь к расставанию.