近代图书馆产生于19世纪末，在民国成立以后，则更加大量地出现，尤其是通俗图书馆已深入到某些中小城市和县城。北京图书馆的前身京师图书馆，在李端棻、罗振玉、张之洞的奏请下，于1909年建立，1912年8月在北京广化寺开放，次年6月呈准教育部设分馆于宣武门前青厂，同月，热河文津阁《四库全书》移交京师图书馆收藏。此外，北京还建有京师通俗图书馆、午门图书馆、中央公园图书馆等。1915年，北洋政府教育部颁布了《图书馆规程》和《通俗图书馆规程》，后者第一条规定：“各省治、县治应设通俗图书馆，储集各种通俗图书，供众人之阅览。各自治区得视地方情形设置之。私人或公共团体公私学校及工场，得设立通俗图书馆。”据统计，到1916年全国省市县级图书馆23个，其中民国间建立的8个，读者不多。通俗图书馆与省市县官办图书馆相比，数量多，读者广，影响大，到1918年，全国有通俗图书馆286个，巡回文库259个，阅报所1825个。
随着新文化运动兴起，新图书馆运动在1917年留美学图书馆学毕业回国的沈祖荣等倡导下逐渐发展起来。沈祖荣于1914年由武昌文华大学美国人韦棣华资助去美国纽约公立图书馆学校专攻图书馆学，1917年回国后，他和韦棣华的助手余日章一起携带有关新式图书馆的各种影片、模型、统计表等前往各省进行宣传，反对封建藏书楼，主张按美国式建立面向大众开放的新式图书馆。1919年，担任北京大学图书馆主任的李大钊在《在北京高等师范学校图书馆二周年纪念会上的演说辞》中也指出，古代藏书楼和现代图书馆在作用上是根本不同的，前者不过是藏书的地方，管理员不过是守书的人，而现代图书馆是教育机关，是研究室，不仅要管理图书，还要使各种书籍发挥作用。1920年夏，北京高师开设了图书馆讲习会，同年秋，韦棣华在武昌文华大学创办图书馆科，从此，图书馆人才的培训受到教育界的重视，促进了新式图书馆事业的发展。1922年，韦棣华发起以美国退还的庚款来推广中国的图书馆事业。1925年春，鲍士伟代表美国庚款委员会来中国调查图书馆事业的情况，在各地讲演50余次，提倡设立美国式的图书馆，推动了新图书馆运动。早在1918年3月，戴志骞发起成立北京图书馆协会，此后在开封、南京、上海、天津等地出现了一些地方性图书馆协会，最后于1925年4月在上海成立了中华图书馆协会。由于新图书馆运动的兴起，据1925年不完全统计，当时全国各类型图书馆已发展到502所，藏书310余万册，最多是北平市43万册，江苏省41万册。其中，建立了不少专业性图书馆，如1922年在上海出现了我国第一个少年儿童图书馆——上海少年儿童宣讲团图书馆；同年，虞恰卿创办了商业图书馆，收藏商业经济图书两万余册；1923年世界语协会创立上海世界语图书馆；1924年又创立专收报刊资料的人文图书馆，收集近百年的报纸杂志；1925年又成立了上海图书馆学图书馆。
随着马克思主义的传播，还出现了面向劳动人民宣传革命理论的图书馆，如1920年毛泽东在长沙创办的文化书社；1921年“五一”劳动节建立的上海通信图书馆；1922年唐山建立的“工人图书馆”、天津建立的“工人图书馆”；1923年南昌建立的“平民图书馆”等。
