В XVII в., во времена польского владычества, Петропавловская церковь (правая) стала униатской, а с запада (слева) к ней был пристроен дом униатского епископа. После освобождения Смоленска в 1654 г. церковь вновь стала православной.
В 1753-1757 гг. над бывшим домом епископа была надстроена церковь св. Варвары с шатровой колокольней.
В 1962-1963 гг. церковь Петра и Павла была реставрирована в формах XII века реставратором П.Д.Барановским. Одновременно с Варваринской церкви был удален третий этаж и главка.