玉绣楼前面是一座面积为160平方米的“与归堂”,是目前扬州保存最大,最完整的一座楠木厅,此处为主人会客的地方。
玉绣楼主题建筑是前后雨座砖木结构两层楼,采用中国传统式的串楼理念,四周以廊道连接成一体环形院落,从任何一个门出入,都可以沿着走廊转一个圈子回到原处。楼的上下连两层为一字排开的房间,每排两套,以三门为一套,每套各为左右两间,中门为楼梯间,每间又采用推拉门隔断的形式构成套间,这种房屋布局和户型结构,似不同程度的吸收了西洋建筑的某些表现手法,而与中国住宅中的厅厢结构迥异。因而被家人称作“洋房”。此外,在提现住宅建筑功能和满足人性化需求方面,也有一些值得称道的细节,如在房间布置壁炉、地面设通风孔、地下建近两米的透风等,都一定程度上祈祷了取暖保温、通风透气、除湿干燥的作用。
人们在游玉绣楼的时候,发现楼上东西两侧的走廊地板上留有六个周边用木条圈成井栏杆形状的直径38公分的圆孔,这些圆孔是当年老园主在世时,让人由楼下向楼上传送食物和饭菜时使用的。大概那时规矩很大,做粗活的佣人是不能轻易到上房来的,更不能上楼。