何芷舠正值壮年，便挂冠隐退了，其中缘由，我们看一看当时的历史状况就明白了。
       1858年，英、法、美等国强迫清政府签订《天津条约》，其中规定增开汉口等十处通商口岸，因此同治和光绪年间，我国汉口地区已经对外办理通商事宜，并在汉口设有海关---江汉关。
       曾遇到过这样一样事情，属下有个江夏县县令，为人正直，为某件事情得罪了国领事，那个领事气势汹汹的告诉何芷舠，被何芷舠言词拒绝后，那个领事还不甘心，又告上上级官府，结果上级官府在犹豫后竟然要求到台衙签署照办。为此，何芷舠上书道：罢一令易易耳，异时，不肖者脱假外以自固，如何主权？严厉抵制了辱权丧志的卑劣行径，江夏县县令才得以安然无恙，从而使那个外国领事的狂妄之想落了空，面对那样的历史背景和领事之压榨，何芷舠本着爱国主义正义感，在力所能及的范围内，不阿不激，从容周旋。这时的晚清政府昏庸无能，附庸列强，已病入膏肓，何芷舠深感与一些畏事偷安者难以共处，空有爱国自强之抱负而难兑现与国事，稍有不合清政府屈从洋人之意向，在宦海沉浮中，也履遭厄运，又念及母亲年事已高，遂于光绪九年（1883）四十九岁挂冠归隐于扬州。