为了使中国黄页继续活下去，马云决定傍一个靠山，来增强自己抗击风险的能力，最后选定同杭州电信合作。1996年3月，中国黄页将资产折合成60万圆人民币，占30%的股份；杭州电信投入资金140万圆人民币，占70%的股份。
应该说马云当时有极好的机遇。第一，中国黄页毕竟是中国第一家互联网企业，占有绝对的先机；第二，中国互联网产业起步虽晚但市场巨大；第三，中国黄页一启动就找到了一种成功的盈利模式。
但后来发生的许多事情让马云始料未及。马云的战略目标是打造中国的雅虎，为此制定了一系列品牌培育策略，但杭州电信却有一套急功近利的经营策略。对此马云曾说：“做‘.COM’公司如同养孩子，你不可能让三岁小孩去挣钱吧！” 双方的裂痕愈来愈深，几个月后，合作终于走到了破裂的边缘。
1997年，马云不得不离开重组后的“中国黄页”，这是他一生中的第一次“滑铁卢”。
在离开中国黄页之后，马云带了5个年轻人，去了当时的外经贸部，在其所属的中国国际电子商务中心（EDI）出任信息部总经理，马云占30%的股份、外经贸部占70%的股份，但实际上马云一个月就几千圆的工资，其他什么也没有。马云还是很满足，他租了一间不到20平方米的小房间，没日没夜地干活，给外经贸部做站点，让外经贸部成为了中国第一个上网的部级单位。后来成功建设了国富通、中国商品交易市场等网站。
日子一久，马云发现在政府的编制里做事要受到许多限制，存在着种种说不清道不明的问题。怎么办？马云陷入了进退两难的境地。留在北京吗？机会倒是有，新浪和雅虎都希望马云去加盟，但马云发现在北京做事人心太浮躁，很难做成一件事。思来想去，马云决定还是回杭州发展。
就在马云做出决定的那一夜，他把团队的所有人都叫来，随后郑重地宣布了他的决定。
大家的心情特别沉重，为什么自己做了那么多，为公司赚了那么多，却要舍弃这一切而去！有人哭了，毕竟这里有他们难忘的岁月，有他们首创的事业。整整14个月，400多天的日子，真的可以就此离去吗？
马云对他们说：“我给你们三个选择权：第一，你们去雅虎，我推荐，雅虎一定会录取你们的，而且工资会很高；第二，去新浪、搜狐，我推荐，工资也会很高；第三，跟我回家，只能分800块钱，你们住的地方离我5分钟以内，你们自己租房子，不能打出租车，而且必须在我家里上班。你们自己做决定。”马云给了他们3天的时间做决定。
3分钟过去了，团队的所有人又走了回来，他们对马云说：“马云，我们一起回家吧。”
那一刻，一向坚强的马云掉了泪。也就是那一刻，马云对自己说：朋友没有对不起我，我也永远不能做对不起朋友的事情！我们回去，从头开始，从零开始，建一个我们这一辈子都不会后悔的公司。
这是1999年，这是马云创业过程中所经历的第二次失败。
屡次遭遇失败的马云，并没有就此陷入沮丧，英雄自古多磨难，马云的两次失败经历教会了他许多道理。
做中国黄页的成功，和杭州电信的一拍两散，让马云悟出一个道理：要让互联网生钱，最重要的是要务实。而14个月的北京之行，让马云学会了判断国家宏观经济发展方向。也因此，他和手下的十八罗汉南下创办了阿里巴巴，从此声名鹊起。
2010年2月26日，在黄金十年——企业家思想力论坛暨最具思想力企业家发布会上，马云入选十大最具思想力的企业家。在晚会现场，许戈辉向马云提了一个问题：“我知道马云去年刚刚庆祝了阿里巴巴的十年，一个特别真诚的发问：我们既不是最聪明的，也不是最勤奋的，我们为什么能够存活下来？你的答案在哪里？”
