Жизнь ребенка бабушкой (дедушкой)

Здравствуйте. Ребёнок (3 года) живет с бабушкой. Скучает по мне, бабушку не слушается , в садик ходить не хочет. Приезжаю раз в пол года на пару недель ( больше не могу по работе). Хочу сына на лето забрать к себе, но боюсь, что он ещё больше испугается, что я снова его бросила.

Пока что я не могу его полностью забрать.

Не знаю что делать...