加尔文主张大大简化教会组织及其仪式，规定神职人员由信徒民主选举产生，从而彻底改革了教会组织。天主教会的七礼被废除，只保留洗礼和圣餐礼，也不许望弥撒、崇拜偶像、朝圣和斋戒。除牧师、教师、长老和执事外，其他神职人员一律精减。牧师负责讲解《圣经》、施行圣礼、执行圣诫、发出规劝。教师是日内瓦学校领导人，负责对全体市民的宗教教育。执事经管捐款和教会收入，用以发放神职人员薪俸、维修教堂和济贫。长老是领导人，负责监视每个人的行为，又是权力很大的宗教法庭成员。加尔文还要求长老品德高尚、完美无缺，敬畏上帝高于一切，在精神上能深谋远虑。在加尔文教会里，长老的地位突出，人称“宗教改革的警察”，所以又称“加尔文教会”为“长老会”。牧师、教师、长老和执事均由信徒投票选举产生。加尔文说：古代教会就是这种民主和简单的组织，教皇制出现后遭到破坏，当务之急就是恢复古代的这种教会。他虽然高举恢复古代教会组织的旗帜，但并非原封不动地恢复古代教会。他精心描绘的古代教会图景，实际是庞杂、腐朽的天主教会的对立物，是资产阶级中意的廉俭教会。民主选举也不是毫无限制的。组织简化和民主选举的结果，不过是建立一个资产阶级层层控制的加尔文教会。
加尔文的国家观是保守的。他与路德一样，神化一切国家政权和官吏，认为它（他们）代表神进行统治。群众对官吏，即使是对暴君，也只能尊敬服从，千万不能激起骚乱。遇到暴君，群众应先“省察自己”如何违背了神的旨意，对其命令最多“置若罔闻”，千万不能自己去纠正暴政。特殊情况下，三级会议可以出面反对暴政。用什么方法反对，他没有回答。加尔文的国家观比他的宗教观大为逊色。
1537年1月，加尔文向日内瓦议会提出新市政府方案，未获批准。接着，反对派在议会选举中获胜，加尔文以异端罪被驱逐出境，暂居斯特拉斯堡。1541年9月，改革派重新上台后加尔文回到日内瓦。11月，加尔文对1537年的方案加以修改，制定《日内瓦教会条例》（又译《教会宪章》），要求成立由长老、牧师和市政官员组成的宗教法庭，监视人们的生活和行动。宗教法庭每星期四举行例会，称“星期四晨会”。加尔文经常出席法庭例会，是法庭实际负责人。他注意法治，强调以法治国。他说：法律是国家政治的神经，是无言的官吏，官吏则是发言的法律。他为日内瓦郊区农村制定的法规对群众的控制很严，动辄警告和罚款。对念玫瑰经、崇拜偶像、朝圣、望弥撒、斋戒、遵行宗教节日以及攻击上帝语言或渎神的人进行劝说、监禁、罚款和送法庭处理。不许唱歌、跳舞、醉酒、赌博、吵架，否则也照此处理。
