等他出狱后，就投奔江汉关道一位故交，结果他旧习不改，勾结洋人，伪造地契，闹出中外交涉纠纷。武昌待不下去，又投奔天津海关道盛宣怀。当时中日战争一触即发，盛宣怀派他随电报局去平壤修理电报线，正巧袁世凯生病，他又懂医术，就给袁世凯开了一剂方，没想到效果很好，两人因此相识。此后十余年间，他辗转各地重操幕师旧业，因为太精明，胆子又大，聪明反被聪明误，蹉跎岁月，他闲居天津，因为手里颇有黑钱，养了四个小妾，过着花天酒地的生活。
武昌起义爆发，袁世凯进京组阁，洪述祖认为机会来了，跑到京城出谋献策，建议与南方讲和，逼清廷退位。袁世凯当了大总统后，推荐他到内务部当秘书长。但后来内务部官制出台，并无秘书长之位，因此洪述祖当了内务部的秘书。不久，袁世凯授予他三等嘉禾勋章。按《勋章令》，大总统佩带大勋章，以下为嘉禾勋章，分为九等。当时各部秘书人数众多，而得三等嘉禾勋章的只有洪述祖一人。
洪述祖在内务部地位很特殊，不仅因为他有三等嘉禾章，还因为他可以随时面见袁世凯。各部司员，非有总长带领见不到大总统，而洪述祖一个秘书却随时得见袁世凯，实在非比寻常。所以内务部有个说法，洪述祖是袁世凯派来监督赵秉钧的。赵秉钧是袁世凯的死党，那只是不知内情人的说法。自从袁世凯上朝被炸后，他就怀疑赵秉钧没有尽心，所以自己组织了特务小组，每组十几人，归他直接掌握。据说，洪述祖就是其中一个小组的组长。
洪述祖经常感叹，自己五十有三，看来功名是无望了，得弄点钱花花。他的办法就是利用他的秘书身份，揽权纳贿，汲引私人，安插部中。两个多月前，他假传赵秉钧的话将一个劣迹斑斑的科员任命为科长，引起综合厅全体人员不满。赵秉钧震怒，宣布此次人事调整一概取消。综合厅人员暗中调查，发现了洪述祖入部后的诸多劣迹，准备共同起诉。此时，恰好上海有一个与国民党唱反调的“中华国民共进会”，袁世凯有意利用，洪述祖就自告奋勇，愿意南下见机行事。
洪述祖南下二十余天后“胜利班师”，报告袁世凯他已经收服了“中华国民共进会”会长应夔丞。
应夔丞是浙江镇海人。他父亲随宁波老乡闯**上海滩，通过炒地皮发了横财，就在上海安家。应夔丞曾经中过秀才，又学过英文，有意在仕途上混出个名堂，可是正赶上废止科举，他的秀才功名也就没了用。终日在上海滩游手好闲，与青帮混到了一块，后来花了一笔银子，成为青帮“大”字辈一员。青帮原是由京杭大运河上的水手及长江下游的盐枭、兵痞组成的秘密会党，已有两百多年的历史，辈分由高到低为“清净道德、文成佛法、能仁智慧、本来自性、圆明行礼”，到清末时已经用完，于是又添了“大通悟觉”四辈。应夔丞在青帮辈分高，徒子徒孙很多，颇有些势力。
同盟会中部分会的陈其美在上海积蓄力量准备起义，他看中了应夔丞的势力，因此主动结交。陈其美希望借助应夔丞打开上海局面，而应夔丞则希望革命成功，由黑帮而洗白为革命功臣。两人各有所求，互为利用，所以很快成为密友。应夔丞在上海法租界有所大宅院，房屋三十余间，成了上海同盟会的据点和避难所。应夔丞不仅利用自己的徒子徒孙为同盟会提供情报，而且捐献大量资金援助。到上海光复起义的时候，他又亲率敢死队攻打江南制造局，为上海光复立下汗马功劳。
上海光复后，同盟会和光复会争权夺利，陈其美在应夔丞的支持下当上了都督。投桃报李，上海青帮的大佬都被委以重任，应夔丞当上都督府谍报科长。孙中山回国后，陈其美令应夔丞担任孙中山的侍卫长，亲自带领卫队，负责沿途安全。孙中山就任临时大总统后，应夔丞被任命为总统府卫队长。
