正因为岳飞是赵构的哥哥，岳母姚氏才要千方百计隐瞒他的来历。当岳飞部下有人得知这个秘密以后，岳飞的老婆才会不经审讯，马上将该人杀掉灭口。
那么，皇子岳飞怎么会流落到汤阴县去呢？
故事大概是这样的：宋徽宗的时候，皇宫里有个姓姚的宫女，在三十多岁的时候，因为一个偶然的机缘，怀上了皇帝的孩子。那年头儿，为了保证皇家血统的纯洁，皇帝和那个女人睡过觉都会被太监登记在皇帝的起居录上。怀孕的宫女也会被在皇家家谱“玉碟”上记载一笔。那宋徽宗是个风流人儿，一夜情之后给姚氏留下了一块写着“尽忠报国”的玉佩。
宋朝时期，朝廷滥杀大臣的事情很少发生，但是宫廷之内后妃争宠却是时时有之。有名的“狸猫换太子”就是宋朝的故事，说宋真宗无子，李刘二妃同时怀孕，真宗下诏：先生皇子者受封为后。刘妃本是假怀孕，于是收买了太监，在李妃产后以剥了皮狸猫换下孩子，把孩子说是自己生的，然后诬告李妃生下妖物。宋真宗一怒将李妃打入冷宫，直到二十年后为包公发现，把她带回京城，并设计使她母子相认。姚氏怀了皇子以后，就有个没有孩子的妃子来找她谈判，说你生下孩子以后过继给我吧，我保你以后过好日子。如果不同意，嘿嘿，你娘俩儿都吃不了兜着走。姚氏又怕又气，搞不好那女人也会抢了我的儿子再把我干掉。尽管嘴上不得不连连答应，她心里却在想别的主意。
“崇宁元年十二月……出宫女七十六人”。正好那年年底皇上要放一批宫女出宫。姚氏听说了要放宫女的消息，就用自己几乎全部的积蓄，买通了太监，混在那些宫女里面，出了皇城。姚氏那时已经有七个月左右的身孕，好在是冬天，衣服穿得多，别人也不容易看出来。逃出开封府，姚氏怕那妃子派人来追，也不敢和娘家联络，偷偷住在个小店里。崇宁二年二月十四日，生了岳飞。岳飞将近满月的时候，姚氏发现有可疑的人在附近出没，急忙带了岳飞向北面逃跑。跑到黄河边上的汤阴县，正碰上发大水，过不去了。有好心人过来问，于是姚氏才编了个坐在水缸里逃难的神话。问她的孩子姓什么，她随口就答：“姓姚”，又觉得不对劲儿，才又改说“姓岳（药）”。
姚氏把岳飞带大，给他取名叫“飞”。飞者非也，就是说他本来不姓岳。到了宣和年间，岳飞要去投军，对姚氏说：娘，宣和皇帝要召兵了，我想去报名。报名要填家庭成员，我爹叫什么名字？姚氏刚要说：宣和皇帝，才说了宣和两个字，忽然觉得不对，才改口说：岳和，你爹叫岳和。
想到儿子投军以后就有可能见到自己朝思暮想的皇帝丈夫了，姚氏热血沸腾，要岳飞解开衣服，自己把那块玉佩烧红了，往岳飞背上一拍，印下“尽忠报国”四个字，还嘱咐岳飞，以后见了皇帝，一定要让皇帝看看你的这四个字。岳飞嘴上答应着，心里也是一头子雾水：我在皇帝面脱前光膀子干嘛？
后来宋徽宗被金人抓走了，姚氏心急如焚，每次见了岳飞都提醒他一定要“迎回二圣”。那时宋朝经常派人去金国问候宋徽宗和宋钦宗。估计姚氏也给宋徽宗带过信，告诉他那个逃出宫的宫女生了个儿子，现在是宋朝大将，一定要救他会来等等。那是绍兴五年，宋徽宗接到信又惊又喜，一激动死了。消息传来，姚氏悲痛欲绝，过了一年她也去世了。在临死之前，姚氏把岳飞的身世和他讲了，岳飞大惊，自己的父亲竟然是皇帝，而且死在了金人手里。自己居然是当今皇帝的哥哥，和他有同等的皇位继承权！
岳飞觉得心里乱得很。赵构那么懦弱，不求收复失地，北方的老百姓们在金兵统治下苦受得大了。如果自己当了皇帝，肯定能把金兵消灭，建立一个富强的中华大帝国。可是赵构对自己不错，又是自己的亲弟弟，怎么下得了手呢？岳飞越想越痛苦，哎呀，干脆，老子不干了！于是才有岳飞接连两次撂挑子，什么官也不想当了的故事。
