正是因为有如此严格的制度，严延年在遭到御史中丞的覆劾，并畏罪亡命后，自然会从出入宫殿的引籍中除名，两年后，依赦令免罪为庶人，因无官职且无入宫资格，亦不会恢复其籍。此种情况下，如果御史府仍在宫中，他是无法进入的，只有御史府迁到宫外，才可以顺利应征入府为掾。
这是一证。此外，《汉书·霍光传》云：
(霍)光薨，上始躬亲朝政，御史大夫魏相给事中。(霍光夫人)显谓禹、云、山：“女曹不务奉大将军余业，今大夫给事中，他人壹间，女能复自救邪?”后两家奴争道，霍氏奴入御史府，欲躅大夫门，御史为叩头谢，乃去。人以谓霍氏，显等始知忧。(68/2951)
魏相与霍氏两家的家奴争道，后者的家奴进入御史府，甚至要蹋御史大夫府的门，且此事开始并不为主人所知，显然是众家奴在主人不在场情况下狐假虎威所为。依时制，此事应发生在宫外。宫中有很多官奴婢②,但大臣的家奴一类人通常不应有资格入宫。《汉书·王莽传中》天凤元年，“公卿入宫，吏有常数，太傅平晏从吏过例，掖门仆射苛问不逊”③,跟随公卿入宫的吏的人数都有限制，地位更低且不具有官吏身份的公卿家奴就更没有资格了，他们更不可能离开主人自行进宫。①此外，御史大夫原为皇帝身边的近臣，就在宫中办公，无须再靠加官来获得出入宫禁的资格，而魏相这时却被授予“给事中”的加官，亦是其已不在皇帝身边的明证。②霍光死于宣帝地节二年(前68年)三月，因此，至晚此时御史大夫府已在宫外无疑。
第三证见《汉书·萧望之传》:
(神爵)三年(前59年),代丙吉为御史大夫。五凤中(前57—54年)匈奴大乱，议者多曰匈奴为害日久，可因其坏乱举兵灭之。诏遣中朝大司马车骑将军韩增、诸吏富平侯张延寿、光禄勋杨恽、太仆戴长乐问望之计策，望之对曰……(78/3279)
此时御史大夫应已迁到宫外，所以宣帝要问计于当时的御史大夫萧望之，只能委派身边的中朝大臣到宫外御史府。若当时犹在宫中，完全无须派此四人去，宣帝直接面询萧望之即可。
再有一证与上计制度有关。甘肃敦煌悬泉置遗址出土的一件西汉宣帝时期的传文书：
甘露三年(前51年)十一月辛巳朔乙巳，敦煌大守千秋、长史奉熹、丞破胡谓过所县河津：遣助府佐杨永视事上甘露三年计最丞相御史府，乘用马一匹，当舍传舍，从者如律令。十一月丙辰，东。
此文书是由敦煌太守等为前往长安的丞相御史府进行上计的助府佐杨永及其从者签发的。当时全国100多个郡国，年底都要派遣官吏到长安上计。这些临时到京的各地计吏有数百人之多，显然不会在宫门的引籍上留有姓名，因此，若如此文书所言，他们要到御史府上计的话，此时御史府一定已经迁到宫外。《汉旧仪》卷上提到“大夫见孝廉、上计丞、长史，皆于宫司马门外，比丞相掾史白录”②,应是御史大夫的办公地点迁到宫外之前的做法。之所以如此，亦是因来自各地的孝廉与上计吏没有通引籍，无法入宫，只好在宫外相见。
根据以上三证，可以推定，最晚从宣帝本始四年(前70年)起，御史大夫寺已经自未央宫内迁到宫外，并改名御史府。
另外，文献中“御史府”的提法亦多次出现。除上引三例外，复见于《汉书·丙吉传》“掖庭令将则诣御史府以视(丙)吉”与《朱博传》③,两例分别为宣帝与成帝末年事。敦煌悬泉汉简中至少还有五处出现了“御史府”:
1.上印绶，谨牒书印章谓上御史府，请为更刻，移中二千口相布告属县、官，毋听亡印，如律令，敢言之。
2.所亡传同封第者，辄捕系，上传信御史府。如律令。
3.口令史周生宗上印绶御史府，从者一人，凡二人，人再食，食三升，东口ⅡT0115③:318①
4.御史治所，一封诣武都郡上禄。十二月辛未，日出一干，新民卒青肩
例5见于永光五年(前39年)的“失亡传信册”,其中有“莫传有与所亡传同封弟者，辄捕系，上传信御史府，如律令”(Ⅱ0216②:868—869)。③例1应是某位太守交代前上缴印绶给御史府，并请求为新太守另刻印章的上书。例2与例5一样，是御史大夫下令追查失亡传信的文书。例3则是承担上缴印绶任务的官吏在悬泉置享用传食的记录。例4是邮书刺。其中仅例5时间明确。据整理者介绍，悬泉简中出现的纪年简最早为西汉武帝，最晚为东汉安帝永初元年(107年),但武帝时的或为后来编定的施行诏书目录(元鼎六年),或为失亡传信后御史大夫发出的追查文书(太始与征和年间),为事后的追述。整理者认为确切的纪年简始于昭帝始元二年(前85年)。④其实若据永光五年的“失亡传信册”,追查文书的下发距签发传信的时间不会太久。若这些并非追查文书，而是失亡传信的记录，就当另论了。统计整理者提供的悬泉纪年简的时间分布表，以昭帝至王莽时期为主⑤,上述4例属于此时段的可能性最高。
又如学者所言，约在昭宣时期出现了“两府”“二府”的说法，分指丞相府与御史府。①而前引《汉官旧仪》指出其在宫内时称为“御史大夫寺”。称呼上仅一字之差，但称“府”的出现与上述考证其外迁出宫的时间大体相同，两者之间恐不会没有联系。②
御史大夫寺迁到宫外后的位置，西汉文献全无记载，但据东汉三公府的位置以及西汉丞相府的位置③,大致可以推定是在未央宫东司马门外，丞相府附近，应在武库以南，长乐宫以西。《汉书·刘屈整传》载，征和二年春，武帝制诏御史，拜屈整为左丞相、封侯，并云“分丞相长史为两府，以待天下远方之选”①,要求是将丞相府分为两个，来安置右丞相。实际直至西汉末丞相均只有一人，此时分出的另外一府未曾派上用场，或许成为御史大夫迁出后的办公地点。《汉书·朱博传》载，成帝时“御史府吏舍百余区井水皆竭；又其府中列柏树，常有野乌数千栖宿其上，晨去暮来，号曰‘朝夕乌’,乌去不来者数月，长老异之”。这便是迁出后的御史府景象。⑤
