Алексей Смирнов фон Раух родился 23 июля 1937 года в Москве. Его отец, Глеб Борисович Смирнов, был профессором графики, мать, Любовь Фёдоровна, — художницей. С ранних лет он жил в атмосфере, где искусство и духовные традиции были неотъемлемой частью быта, а семейная история была тесно связана с православной культурой и катакомбным движением. В 1950–1956 годах Алексей обучался в Средней художественной школе при Академии художеств, а затем поступил в Московский государственный академический художественный институт имени В. И. Сурикова, где занимался на графическом факультете под руководством Евгения Кибрика. Образ иконописи и классическая школа стали для него прочным ориентиром.
В начале 1960‑х годов Смирнов оказался в кругу московских художников-нонконформистов и литераторов, где подружился с Юрием Мамлеевым, Владимиром Ковенацким и другими представителями неофициального искусства.