Там разместился музей изящных искусств и художественная школа. К концу 1930-х годов Выборгский музей стал вторым по значению художественным музеем Финляндии. Однако, после поражения в Советско-финской войне, все экспонаты из музея были вывезены и распределены по выставочным комплексам Финляндии.
Здание сильно пострадало во время войны. Но было восстановлено, а с 2003 года здание Эрмитажа вновь исполняет свое историческое предназначение. В его левом крыле разместилась детская художественная школа, ранее ютившаяся в
Костеле св. Гиацинта , а в 2010 году правое крыло занял Выставочный центр «Эрмитаж-Выборг».