金日磾亲近汉武帝以后，不曾有过失，汉武帝很信任宠爱他，赏赐累积千金，汉武帝外出，他就随侍车驾；在宫中，金日磾就侍候身边。一些贵戚在私下怨恨，说：“陛下不知道在哪得到一个匈奴小儿，反倒十分看重他。”汉武帝听说后，不以为意，反而更加地厚待于他。
金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝下诏在甘泉宫为她画像，题名“休屠王阏氏”。金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。金日磾的两个儿子都被汉武帝所宠爱，是汉武帝逗乐子的弄儿，常在皇上身边。有一次，弄儿从后面围住汉武帝的脖子，金日磾在前面，看见后生气地瞪着他。弄儿一边跑一边哭着说：“爹爹发火了。”汉武帝对金日磾说：“干嘛生我弄儿的气！”后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的淫乱，于是杀了弄儿。这个弄儿就是他的长子。汉武帝得知后大怒，金日磾叩头告罪，把为什么杀弄儿的情况一一说出。汉武帝很哀伤，为弄儿掉泪，后因此对他很看重。
巫蛊之祸前，马何罗（本姓马，后人改为莽）与江充交好，马何罗的弟弟马通更因诛杀太子时奋力作战而得到封爵。征和二年（前91年），汉武帝得知太子冤屈，就把江充宗族和朋党全部诛杀。马何罗兄弟害怕被杀，于是策谋造反。金日磾发现他们神情异样，心里怀疑他们，暗中独自注意他们的动静，与他们一同上殿下殿。莽何罗也觉察到金日磾的用意，因此，很久没有机会动手。这时汉武帝驾临林光宫，金日磾有小病在殿内休息。马何罗与马通以及小弟马成安假传圣旨深夜外出，一起杀了使者，发兵起事。
第二天早上，汉武帝还未起床，马何罗无故从外进入。
金日磾正在上厕所，心里一动，马上进入汉武帝卧室，躲在内门后。
一会儿，马何罗袖藏利刃，从东厢而上，看见金日磾，神情大变，跑向汉武帝的卧室，不料撞到宝瑟，摔倒在地，金日磾得以抱住马何罗，随即高声呼喊：“马何罗造反！”汉武帝从床上惊起。侍卫拔刀想杀马何罗，汉武帝恐怕伤到金日磾，阻止他们不要用刀杀。金日磾揪住马何罗的脖子，把他摔到殿下，侍卫捉住捆绑起来，彻底审讯，最后都伏法受诛。
金日磾因此以忠诚笃敬、孝行节操而闻名。
金日磾自从在汉武帝身边，几十年从不用目光直视汉武帝。汉武帝赏赐给他宫女，也不敢亲近。汉武帝要把他的女儿纳入后宫，金日磾不肯。金日磾的为人就是像这样笃厚谨慎，汉武帝认为他的行为特别奇异少见。
后元二年（前87年），汉武帝临终之时明确指定霍光为大司马、大将军，和金日磾、上官桀、桑弘羊一同辅佐时年八岁的汉昭帝。
当初，汉武帝留下遗诏，以讨灭马何罗的功劳封金日磾为秺侯，金日磾因为汉昭帝刘弗陵年幼，坚辞不肯接受封爵。
始元元年（前86年）九月初一日，辅佐霍光一年多的金日磾病情严重，大将军霍光奏明汉昭帝后封其为侯。九月初二日，金日磾病逝，终年四十九岁……
