义务教育在中国的政府文件中，最早见于1902年的《钦定学堂章程》，又叫《壬寅学制》。其中有云：“儿童自六岁起受蒙学四年，十岁入寻常小学堂修业三年；俟各处学堂一律办齐后，无论何色人等，皆应受此七年教育，然后听其任为各项事业。”由此可以看出，《壬寅学制》中的确是有劝行“义务教育”的文字，此学制是清政府在学制上公布的第一个文件，具有绝对权威性。但是，《壬寅学制》虽然是我国颁布的第一个学制，但是其并未具体实施。1904年，清政府颁布实施《癸卯学制》，其中也有强制推行义务教育的规定，明令“除废疾、有事故外，不入学者罪其家长”。这是中国第一个实施的学制，义务教育也由此兴办。
义务教育在清代实施的具体时段为1904年至1911年。其间，中央至地方虽然进行了多方努力，但因清政府腐败的政治及薄弱的经济基础，义务教育在这段时间虽然取得了一定的成绩，但总体来说基础薄弱，难以实现当时许多人所提倡的教育救国理念。
1904年后，学部及一些地方督抚提出并实施了一些推广义务教育的保证措施，将义务教育制度进一步法令化、规范化。例如，1905年署理两江总督周馥、盛京将军赵尔巽奏设简易识字学堂，希望义务教育阶段的识字教育能收到良好的效果。同年直隶、湖北、湖南、甘肃等省为解决义务教育师资奇缺的问题，设立了优级师范、速成师范等。1906年1月，学部通电各省设半日学堂，这是专收贫寒子弟的学校，不收取学费，亦不拘年龄。半日学堂为普及教育，方便儿童就学的重要教学组织形式。4月，学部通电各省速将省城师范名额尽力扩充，至少设一年卒业之初级简易科生500人，以养成小学教习。7月23日，学部通行第一次审定初等小学暂用书目。这一时期，大约8年时间，清政府的义务教育取得了一定的成就。
表1-1 清末初等教育阶段学生数对比表
表1-2 清末义务教育阶段学堂、学生对比表
从表中数据可以看出，初等阶段尤其是小学生数量占所有学生数的比例非常高。但是，当时清政府约有4亿人口，在有统计数据的年份，初等阶段学生总数始终没有突破30万，这个比例实在太小了。加上当时民变四起，革命风起云涌，清政府腐败无能，国库亏空，债台高垒，实在难以全面普及义务教育。
这一时期义务教育基础的薄弱主要表现在以下几个方面。
首先，这个时期的义务教育缺乏民众基础。推行义务教育要有良好的民众根基。义务教育之所以在西方国家产生并全面普及，是以生产得到前所未有的发展，尤其是以资本主义大工业生产的发展对劳动者提出了高文化素质的要求为前提的。而当时的清政府还处于封建社会末期，因此，劳动者也就没有像西方劳动者那样渴望得到义务教育阶段的教育。再加上当时中国各级教育机构的教育内容依然空疏无用，国民无法从教育中得到实惠，因而产生不了受教育的需要。当时的老百姓知道义务教育的人更是凤毛麟角，更谈不上自发萌生追求教育的意愿。
其次，由于缺乏良好的教育基础，清末的义务教育因陋就简，教学组织形式未能统一。寺庙、祠堂及其他公共设施，都被用来充当初等小学校舍，推行义务教育。例如，1906年1月，学部通电各省设半日学堂。此后，诸如简易学塾、改良私塾、女子小学堂等相继面世。各级各类教育机构相继投入至义务教育中，林林总总的义务教育机构说明了清政府希望用教育来改变中国现状的决心，同时也反映出了清政府对当时教育基础设施落后的无奈。
