李百药的这一手让会稽郡的形势顿时紧张起来，驱赶百越的流言四起，汉越之间的冲突时有发生，甚至波及到杭州。三国时期，经孙吴数十年的残酷征讨，会稽、丹阳、新都三郡的绝大部分山越被迫出山，徙至平原地区，一部分用以补充吴国的兵源；一部分成为编户，成为平民，或是私家佃客。

但山越作为一个散布在江南至闽南的分散群体，并不是单一的某个民族，更多是兼而有之，其中包括当地土著，也有上山为匪的普通汉人，还有因种种原因从外部迁入的百姓。经过数百年的演变，不仅在徽州的山越人数重新变多，就是会稽以南的山区，也重新出现新的山民，所以才需要安置。

杭州目前是江东百越的大本营，九万多人居住在此，各方面原来对祖金奇一伙的动作很诧异，可是随着对被驱逐的恐惧增加，山越乱成一团，案子根本无法追查下去。余杭郡守陈杲仁有些担心，急忙到转运所拜见刚刚赶来的江淮转运使寇九珙，寇九珙怎么说都是越王的亲信，朝中的重量级人物，比自己更有担当。

寇九珙正在和江南转运所的员外郎刘子翼、鹰击郎将叶孝辩、山越大头领严安在商议此事，听说陈杲仁担心，寇九珙冷漠地笑笑说：“凡是传言要驱赶山越的人，一律当李唐奸细处理，根据祖金奇部下的口供查明是谢家的铁铺，那就查封所有谢家的铁铺。”

陈杲仁、刘子翼张张嘴，这魄力也太大了点，谢家在江南的铁铺可不是一家两家，几乎每座城里都有，加起来至少五十多家。寇九珙安排说：“严安出任余杭郡的鹰扬郎将，立即将四千屯田军编入鹰扬府，开始在全郡抓捕奸细；叶将军，带领你的人查抄谢家铁铺。其他郡县，运转司会行文通知。”

陈杲仁等人只能点头，越王的心腹就是不一样，什么郡守，什么士族豪强，都是无需担心的因素，敢作对就给你颜色看。江都训斥李百药的行文两天后传遍江东，在丹阳的左武卫大将军辅公祐、在宣城的王雄诞都发布命令，不允许对山越、畲民的住所随意搜查，和汉人一样，官府必须有证据，才能搜查。

所有人看得清清楚楚，李百药在江淮军和江都留守司的眼里，一点份量都没有；谢家在江南的铁铺遭到致命一击，全部被寇九珙委托当地军方代管；江淮军等部队都是流寇出身，最喜欢干的就是这种事情，立即出动人马，接管买卖和仓库，一百多位原来在铁铺管事的人陆续被押到余杭郡审问。

江南暗流激涌，但是包括谢家在内，都没有人跳出来，杨崇能放纵鱼俱罗把陇西李氏彻底打翻，就能放纵寇九珙、辅公祐等人再在江南来上一遍。长安的命令迟了半个月，任命鱼俱罗为左侯卫大将军、王雄诞为右侯卫大将军、殷芊为吴郡郡守、闻人遂安为昆山郡守；殷芊、闻人遂安原先都是沈法兴的部下，这个任命表明杜伏威至少表面上让出了吴郡。

山越领袖孙士汉、严安大为激动，杨崇、杜伏威的许诺确实有效，纷纷派人去说服黄山等地的山越出山，估计要有七万多人。这次连辅公祐、寇九珙都给吓住了，急忙飞书长安，已经到达洛阳的杨崇下令，安置在当涂县；当涂县是当年侨置豫州、上党、淮南三郡所在地，城关众多，居民北返后，大部分废弃，正好用来住人。