大统七年（541）六月癸丑夜，杨坚出生在陕西冯翊的般若寺，母亲姓吕。当时，杨忠尚未发迹，乱世里养活一个孩子很难。杨忠很迷信，就把杨坚放在寺庙中，觉得这样可能会好养活一点，还给儿子取了个小名“那罗延”。那罗延是鲜卑语，原义是“金刚不坏”。杨坚果然无病无灾，在寺庙里生活了十二年。
等杨坚大富大贵以后，官方给杨坚的出身和出生造了很多“谣言”，像杨坚诞生的时刻“紫气充庭”，小时候头上长龙角，等等。得到杨坚本人肯定的一个“谣言”说杨坚出身于著名的弘农杨氏（中原地区的世族大家），是汉朝太尉杨震的第十四世孙。这样显赫的出身已经难以考证，可以确定的是起码杨坚的父亲杨忠没有享受到这样的出身带来的任何好处。杨忠奋斗一生，留给儿子最大的遗产就是“普六茹”的姓氏。
人一旦出名，是非就多，就很难被他人看清楚。当时的大学问家李德林后来专门写了《天命论》，吹捧杨坚的外貌说：“帝体貌多奇，其面有日月河海，赤龙自通，天角洪大，双上权骨，弯回抱目，口如四字，声若钟鼓。手内有王文，及受九锡，王生文加点乃为主，昊天成命，于是乎在。顾盼闲雅，望之如神，气调精灵，括囊宇宙，威范也可敬，慈爱也可亲，早任公卿，声望自重。”李德林将杨坚身上的特征和天命、日月等敏感事物联系在一起，极力论证杨坚的形象注定他必将成为皇帝。
实际上，杨坚因为遗传的关系，长得像杨忠一样威猛魁梧——我们看那一时期的雕塑，武将的形象大致如此。一代枭雄宇文泰看到杨坚后，感叹说这个孩子长得很好，不像是来自晋北那样的北方边镇。宇文毓即位后还曾经派遣善于相面的赵昭去观察杨坚，看他日后是否会成为奸雄。赵昭回来对宇文毓说：“杨坚不过是做柱国的料。”柱国类似于大将军，意思是说杨坚日后最高也就做到大将军，不会对北周的皇位造成威胁。但是一转身，赵昭就悄悄对杨坚说：“你以后肯定会登基做皇帝的，但是要先经历一场残酷的杀戮才能平定天下。”
杨坚十四岁的时候，得益于家庭的帮助进入政坛，在都城做了一名功曹。因为父亲的功勋，他在两年时间里就升到了骠骑大将军的高位。宇文毓即位时，他被晋封为大兴郡公。宇文邕登基后，不满二十岁的杨坚又被任命为随州刺史这样的实职。
天和元年（566），杨忠的好朋友、柱国大将军独孤信把年仅十四岁的女儿独孤伽罗许配给杨坚，独孤伽罗就是日后著名的独孤皇后。两家联姻，关系更进一步。独孤信所代表的关陇势力站到了杨坚一边。顺便说一句，这个独孤信非常厉害，分别将三个女儿嫁给了周明帝宇文毓、杨坚和贵族李家。嫁入李家的那个女儿生前没有另外两个姊妹那般荣耀，但她生下了唐高祖李渊。
杨坚进入仕途之初，宇文护主政北周。宇文护不知为什么，看杨坚特 别不顺眼，多次想加害他。他曾晋升杨坚的职位，想拉拢他为自己所用。 杨坚问父亲怎么办，杨忠只淡淡说了一句：“少说话多做事，要和权臣保 持距离，要学会明哲保身。”杨坚照做了，宇文护也无计可施。不久，杨 忠病死，杨坚袭爵为隋国公。建德二年（573），不满宇文护的周武帝宇 文邕聘杨坚的长女杨丽华为皇太子妃，给杨坚的地位上了一层保险。
杨忠死后四年，宇文邕诛杀了主政的宇文护，开始亲政。北周的前两任皇帝在位时间都很短，无所作为，宇文邕却是一位伟大的君主。北周在宇文邕的治理下，逐渐强大。他力排众议，御驾亲征，消灭了北齐王朝。从此，北周拥有了黄河流域和长江上游地区。
