Сдружившись с М. Ю. Лермонтовым, Гагарин в 1840 г. последовал за ним на Кавказ, где участвовал в военных действиях (даже был награжден орденом за храбрость в бою) и исполнил много портретов, пейзажей, военных сцен, зарисовок памятников старины. Часть их он в первой половине 1840-х гг. использовал для картин, посвященных Кавказу ("Лагерь у второй Муганлинской переправы через реку Алазань", "Группа горцев", "Сражение между русскими войсками и черкесами при Ахатле 8 мая 1841 года" и др.). С 1848 г. Гагарин жил в Тифлисе, ездил по Закавказью, запечатлевая виденное. Диапазон его творческой деятельности этого периода необычайно широк: он построил в Тифлисе театр по собственному проекту, реставрировал фрески древних грузинских храмов, расписал в "византийском" стиле тифлисский кафедральный собор Сиони, руководил художественной частью на гранильной фабрике. Дом его был своего рода культурным центром Тифлиса.
С середины 1850-х гг. Гагарин продолжил свою деятельность в Петербурге: участвовал в составлении нового устава АХ, издал альбомы "Живописный Кавказ" и "Костюмы Кавказа", расписывал церкви, готовил труды по истории искусства. В 1859 г. был избран вице-президентом АХ. Не желая и не умея противостоять натиску консервативно-бюрократических сил, был вынужден оставить этот пост в 1872 г. И талантом, и профессиональным уровнем Гагарин не уступал многим крупным мастерам, но предрассудки аристократической среды мешали ему полностью посвятить себя творчеству, и оттого вклад художника в искусство оказался скромнее его возможностей.