《封建论》和《赞道赋》贞观初年，朝廷中有一次重大的政治辩论，即，是实行封建制还是实行郡县制。事情的起因是这样的。唐太宗对大臣萧瑀说：“朕欲使子孙长久，社稷永安，其理如何？”萧瑀答道：“臣观前代国祚所以长久者，莫若封诸侯以为磐石之固。秦并六国，罢侯置守，二代而亡；汉有天下，郡国参建，亦得年余四百；魏晋废之，不能永久。封建之法，实可遵行。”萧瑀是守旧贵族势力的代表人物。他是后梁明帝萧岿之子，年九岁就封新安郡王。因此他极力鼓吹分封制是不奇怪的。他的这一通似是而非的议论竟引起唐太宗的注意，于是，“始议封建”①。诸大臣各抒己见，展开辩论。魏徵、长孙无忌、于志宁、马周等都反对实行封建制，但有理有据、系统深刻阐述这一观点的，当推李百药所上长篇奏疏《封建论》。
百药认为，时代变了，制度也须改变，实行郡县制是必然趋势。赞成分封者，是不通古今变化。当今若实行分封，就如同“结绳之化行虞、夏之朝，用象刑之典治刘、曹之末”，等于“锲船求剑”。这是一种朴素的历史发展观点。
接着，百药具体分析了分封制的危害：封邦建国之后，使受封家族以高贵门第自傲，忘记先人创业的艰难，不愿靠个人才干而进取，莫不一代比一代骄奢残暴。并且数代之后，王室一旦衰弱，所谓藩国屏障就会变成仇敌，封国各行其是，强国欺凌弱国，争夺土地人口的战事不断。百药以“春秋二百年间，略无宁岁”的史事来说明，分封制造成了连绵不断的攻伐征战。另一方面，百药大力推崇郡县制的优越性：设官分职，任贤使能，内外百官都由朝廷决定。可以从士人庶民中提拔人才，可以像水镜那样清晰地考察他们。以资格及辛劳程度确定其官职阶品，以政绩优劣确定废黜或迁升。总而言之，爵位不世传，启用贤人之路就广；百姓无定主，与朝廷的离心力就不大。①《封建论》表现出维护国家统一、反对分裂割据的进步倾向，充分肯定了郡县制取代封建制是历史的进步。百药卓越的政治见解，深深打动了唐太宗，“太宗竟从其议”②。唐中叶，柳宗元有一篇著名的《封建论》，可以看作是百药《封建论》的继承和发展。
还有一件事反映出李百药对唐皇朝的忠心耿耿。贞观四年（630），唐太宗授百药太子右庶子，令其辅教太子承乾。起初太子对学习经籍颇有兴趣，但后来耽于享乐，嬉戏过度。于是百药便作《赞道赋》一文以规劝太子。唐太宗见到此赋后非常赞赏，派使者对百药说：我在太子处见到你所献的赋，以历来储君成败事告诫太子，很是精辟切实。我选你辅佐太子，非常称职，①《旧唐书》卷六三《萧瑀传》。
①②《旧唐书》卷七二《李百药传》。
希望能善始善终。赐百药彩绢五百段。
百药以才学和操行闻名于世，受到各方面名流的敬重。他为人沉静寡言，乐于引进青年，提携后进，又不喜聚敛财富，所得俸禄，多散分亲友。百药不但在史学上有突出成就，而且文学上也造诣颇深，尤其擅长五言诗，通俗易懂，“虽樵童牧竖，并皆吟讽”，可见影响之广。唐太宗晚年曾作《帝京篇》，让也进入晚年的百药以此题另作一篇。文成，唐太宗极为赞叹：“卿何身之老而才之壮，何齿之宿而意之新乎！”①贞观末，百药因年老执意辞官，回到故里。贞观二十二年（648）去世，年八十四。有文集30卷。
撰写《北齐书》李百药撰成《北齐书》，这是他在史学上的重大贡献。《北齐书》50卷，大致记载了东魏、北齐（534—577）的历史。由于北魏分裂为东魏、西魏，而东魏的军政大权掌握在高欢手中，高欢之子高洋建立北齐，因此从历史叙述的系统完整性来看，《北齐书》记载由叙高欢事迹开始，是符合客观实际的。
