事实上，自1916年掌管厂务以来，严庆祥主管大隆已有十余年，但严裕棠一直执掌财政大权不肯放手，对此，严庆祥是极度不满甚至是愤恨的。慢慢地，他在暗地里也不时做一些手脚，隐匿下一些资财来。起初不免瞻前顾后，后来也就满不在乎，觉得理所当然。
对于严庆祥，严裕棠是又爱又恨。严庆祥18岁那年，为使儿子能尽早接触工厂实际工作，严裕棠硬是把他从学校的老师身边拉回到了厂里，中途辍学，开始分挑父亲肩头的担子。这些年，每逢严裕棠出外或遭遇意外，光裕公司的业务总是由长子独自掌管。可惜的是，自小在十里洋场滚打的严庆祥身上沾染了不少洋场恶习，在外面还养了不少女人。在这一点上，严裕棠时有所闻，也旁敲侧击过。年轻人有些荒唐，情有可原，但凡事总要适可而止为好，严裕棠安排其他兄弟进厂工作，名为协助，实际上也有监督的意思。
严裕棠从香港回来后，老二、老三便双双来到父亲面前告严庆祥。听罢两个儿子诉说的种种迹象，严裕棠也感到问题的严重，他怎么也想不到，自己当年对付褚小毛的那一套，被自己的儿子有样学样照搬过来了。盘算一番后，严裕棠让二人先莫声张，他自有办法。
几天后，严裕棠把严庆祥在大隆厂的亲信唐志虞叫过来，威逼他坦白自己的所作所为。唐志虞额头上沁出汗珠来，但他觉得老老板不过是想诈自己。什么暗账？为了隐瞒盈利，保守营业秘密，偷税漏税，哪一家企业不搞两套账册，大隆岂能例外？严裕棠是内行，不会不懂。至于暗账之外的账，只要当事人不松口，连神仙都无法搞清楚。得罪老老板以后没法在厂里混，但出卖了小老板可能当场就得死。于是，他断了一截手指，写下血书：苍天可鉴。
严庆祥当时在场，他心里自然清楚，唐志虞做了他的牺牲品。事后，严庆祥打听到唐志虞的下落，派人送去一笔钱作为补偿，唐志虞便集资开设了一所机器厂。
敲山震虎后，严裕棠并没有马上剥夺长子的权力。真正让严庆祥倒台的，还是他投机失败。真是天作孽犹可恕，自作孽不可活。
严庆祥在社会交际中极为活跃，在经营场上又频频获利，一时间声名鹊起，确立了在纱界的名人地位。得意忘形之时，他在棉纱投机上铸下大错。
其实，严庆祥对父亲炒房一直有看法，他自己更热心于搞花纱交易。在他看来，经营房地产好比种树，桃三杏四梨五年，来钱太慢；而花纱交易则是打靶，打一枪是一枪，中与不中立刻见效。华商纱布交易所的老手哪一个不是白手起家，靠买空卖空大发其财？正因如此，纱布交易所里，没有不认识严庆祥的。
过去手头紧，严庆祥只好小玩，成败影响都不大。自从前两年做美棉生意大赚一笔后，交易所的老手们也开始敬畏他三分。严庆祥还想在众兄弟面前炫耀一下自己。有一次，他赚进了一大票后，正值父亲生日，他请全家去素菜馆子吃饭。严裕棠看着严庆祥得意忘形的样子，多次提醒他，但他自己手里有了本钱，正春风得意，哪肯放手？
1935年，国民政府决定实行法币政策，收回六成银币，即发行十成法币。表面看来，基本上统一了全国币制，也缓和了国民党政府的财政困难，但埋下了通货膨胀的根子。这对投机生意来说，实在是一大隐患。但当时的华商纱布交易所里依然一番热闹气象，活跃在交易所的炒手们依旧买进卖出，忙得不亦乐乎。
其时，花纱市价不振，严庆祥暗自在心里盘算了一下，估计还会下跌，便避开同行耳目，在市上大手抛售空花纱期货。谁知事与愿违，之后花纱市价竟直线上涨，他匆匆了结，却已经亏耗了80多万元。这让一向骄横的他元气大伤，无地自容，他明白自己的这个总经理算是做到头了。
