Одноэтажный каменный, на подвалах и с мезонином, дом № 17 был возведен в 1720 – 1730-х годах и принадлежал купеческой семье Ширвановых. Участок разделился в середине XVIII века и в 1780-х годах принадлежал наследникам армянина, купца Ф.М. Тетушева, при котором дом на участке уже был каменным. В 1791–1800 годах им владел чиновник Государственного архива старых дел Я.И. Лосовиков. После целого ряда владельцев он в начале 1800-х годов стал собственностью академика скульптуры П.И. Брюлло. Сюда приходили его сыновья, в то время ученики Академии художеств – Карл и Александр, получившие фамилию Брюллов. По наследству дом перешел к третьему сыну – Федору Брюлло, писавшему иконы для столичных церквей.

В первой половине XIX века здание реконструировали, расширили до границы с № 15. При этом увеличили окна подвала, превратив его в первый этаж, вместо мезонина возвели полный третий этаж. В 1872 году профессор Академии художеств и городской архитектор Петербурга Н.Ф. Брюлло, являясь по наследству хозяином дома, надстроил его четвертым этажом и продлил до границы с № 19. Среди тех, кто арендовал здесь квартиры, были в 1890-х годах университетские профессора – юрист Н.Д. Сергеевский и физик И.И. Боргман.