数据的收集与整理是依据统计分析的目的和要求,有组织、有计划地收集数据资料并对其进行去伪存真、去粗取精的分类整理、浓缩简化的工作过程。它是进行统计分析的必要前提,是保证统计数据客观、真实、准确、可靠的关键。
一、数据的收集
(一)数据的来源
根据资料的获取途径不同,数据可分为第一手资料和第二手资料,或者称之为原始数据和次级数据。原始数据即第一手资料,包括原始记录、调查问卷答案、实验结果等,反映被调查对象的原始状况。次级数据即第二手资料,包括期刊报纸、广播电视以及网络资料等已经存在的经他人整理分析过的资料。一般在可能的情况下尽量使用第一手资料,它比第二手资料更加丰富、更加准确,而使用第二手资料是因为其收集成本和所花费时间比较节省。一般而言,统计调查是获取数据的主要形式,收集到的主要是第一手资料;查阅文献、年鉴、上网等是获取统计资料的辅助形式,收集到的主要是第二手资料。
(二)数据的收集
数据收集指的是根据统计研究的目的要求,采用一定组织形式与科学方法,进行采集与研究问题有关的各类数据信息的工作过程。数据收集是一种广义的统计调查,其收集的总体范围可大可小,收集的内容可简单亦可复杂,可以是原始资料也可以是次级资料,收集的方式灵活多样。在信息化时代,数据成为海洋,为了在数据海洋中有效收集数据而不被数据所淹没,首先,应该对自己的专业方向投入更多精力,对它有更清晰的理解;其次,是掌握信息渠道,即知道自己所需要的数据如何获得;最后,就是对获得的数据进行深度加工,使其成为指导决策的依据。
(三)数据的审定
数据需要审定,即通过计算机或人工的方式对数据的准确性、完整性和及时性进行检查。其目的是尽可能地缩小误差,以保证资料最基本的准确性。事实上,经过调查所获得的统计数值与被调查对象实际数值之间总归会存在着一定的差别,即调查误差。一种调查误差是由于调查过程中各有关环节工作的计算错误、抄录错误以及不真实填报等失误而造成的登记误差;另一种是由于非全面调查而只观察不能完全反映总体性质的一部分单位产生的代表性误差。
(四)数据的分类
数据分类是对数据进行归纳、整理、简化、概括的第一步,是进一步分析研究的基础。数据根据来源和观测方法可分为计数数据和测量数据;根据数据的连续性可分为离散数据和连续数据;根据数据所反映的变量性质和测量水平,可分为称名数据、顺序数据、等距数据和比率数据。分类标志按形式可分为性质类别和数量类别。性质类别是按事物的不同性质进行分类,这种分类不表明事物之间的数量差异。如学生按性别分为男生和女生,按组别分为实验组和对照组等。数量类别是按数值大小进行分类,并排成顺序。在排列顺序时,可以直接按数值大小进行排列,也可以用等级顺序进行排列。
二、数据的整理
数据整理是指根据统计研究的目的与要求,对所收集到的原始数据进行科学加工与综合,使之系统化、条理化的工作过程。数据经过整理可以为统计分析提供反映事物总体综合特征的科学化资料,一般程序包括:数据审核认定、数据资料分组、统计资料汇总、编制统计表或绘制统计图。其核心则是统计数据资料分组,主要体现为编制统计表与统计图等。
(一)数据的分组
1.数据分组的概念