Родился в Москве 2 января 1928 года в семье врачей. Потеряв родителей в раннем возрасте ему пришлось столкнуться с большими сложностями в жизни, однако, это не помешало будущему художнику развивать в себе творческие навыки. Он занимался в художественной студии Дома пионеров, где его учителем был Евгений Кропивницкий. В годы войны Рабин уехал к родственникам в Ригу, там поступил в академию художеств, но практически сразу после окончания войны вернулся в Москву и продолжил художественное образование, поступив в Суриковский институт, который так и не закончил. Живописные опыты пришлось совмещать с работой на водопроводной станции, а после – на железной дороге. Такая жизнь нашла отражение в произведениях Рабина.