新君即位，旧皇子受封到外地当王爷，一般来说皇位的争夺战也就结束了，然而古往今来凡是卷入皇位之争的皇子都很难有好下场，赵竑也不例外。
来到湖州之后，朝廷对赵竑名为外放实为监视，一直关注着他的一举一动。不过不仅朝廷关注赵竑，民间也在关注着这位失意皇子，湖州当地有个渔民叫潘壬，对史弥远擅自废立皇子很不满，赵竑来到湖州后以为这是天赐良机，便伙同弟弟潘丙、堂兄潘甫二人共同谋划，打算重新拥立赵竑为帝，打回临安去。
赵竑所居住的济王府平时守卫森严，外人根本进不去，潘壬手上又没兵，于是几经辗转联系上了远在青州（今山东青州市）的李全，希望李全可以派兵前来拥立赵竑，打回临安匡扶社稷。
潘壬联系上李全，原本也算是一出妙招，南宋这些年与金国在边境上冲突不断，很多将领还是延续了一贯的不经打，只有李全经常打胜仗，原本奉命驻扎在淮阴，后来一路向北屡战屡胜，到了嘉定十七年已经打到了山东中部的青州，形势一片大好。
李全不仅能打，而且由于他是金国归附过来的降将，在朝中没什么背景，所以不用顾虑史弥远的威胁，此次如果李全能出兵相助拥立赵竑，又成了新的从龙功臣，在南宋就算是彻底扎下了根基，这生意能做。
潘壬很快便收到了李全的回信，对方同意与潘家兄弟联手，匡扶社稷铲除国贼。
有了军方支持，潘壬信心大增。宝庆元年二月，约定举事的日期已到，潘壬左等右等等不到李全的部队，夜长梦多事不宜迟，政变既然已经策划就绝无收手的可能，潘家兄弟一不做二不休，组织起一帮渔民亲友趁夜冲进湖州城，闯入了济王府。
从潘壬进入济王府的那一刻起，这就是一条不归路，对潘壬而言也好，对被他鼓动起来的渔民而言也好，对济王赵竑而言也好，不成功便成仁。
听说有人闯进王府，赵竑吓坏了，以为是盗贼来城中作乱，慌忙换上一件破衣服躲在水窖里。可王府又不是皇宫，就那么大地方很快便被渔民们找到，一群人把赵竑簇拥起来来到了湖州知州衙门。
就在赵竑担心盗贼们是要钱还是要命之际，潘壬取来一件早已准备好的龙袍，率众渔民高呼万岁，跪请赵竑穿上。
一切反转的太突然，赵竑一时间有些回不过神儿，但眼前的龙袍却是实实在在的，面对着众人的请求，赵竑嚎哭不止，坚决不从。
开弓没有回头箭，潘壬兄弟们劝导加上威胁费了好大功夫终于说服了赵竑，在双方约法三章后，潘壬同意等率军打入临安后会善待杨太后和朝廷百官，赵竑也终于同意，披上了龙袍。