范缜的刚直不阿的可贵品德，以及决不“卖论取官”的原则立场，在当时只能增加他人生道路上的坎坷。齐明帝建武年间（494—498），他出尚书省，迁领军长史。又被出为宜都太守。他仍坚持神灭论，不信鬼神。当时夷陵（今湖北省宜昌市）有伍相庙、唐汉三神庙、胡里神庙，当地人笃信三庙有神灵，经常祭祀。范缜在任期间，下令严禁祭祀活动。不久后，范缜的母亲去世，他因此辞官守丧，自此至梁初，他一直未出仕任官，居住在南州。坎坷的后半生齐末，梁武帝萧衍起兵。范缜虽在守丧，仍身穿丧服去迎接梁武帝。梁武帝与范缜曾在南齐时共游竟陵王萧子良的西邸，关系不错，见了范缜后畅叙友情，非常尽兴。梁武帝平建康，任命范缜为晋安太守。范缜在任四年，清廉节俭，除了俸禄以外一无所取。天监四年（505），朝廷任命范缜为尚书左丞。范缜离任回京前，所有财产未给亲戚，而是都赠与了前尚书令王亮。王亮是王导六世孙，范缜曾与他在南齐时同为尚书殿中郎，结为好友。齐梁之际，王亮拥立萧衍有功，任尚书令，后因在天监二年（503）对梁武帝大不敬，削爵废为庶人。当时范缜念及旧日友情，对王亮十分同情，仍经常去王亮家看望他，两人过往密切。
范缜刚任尚书左丞，一天，梁武帝设宴招待群臣。梁武帝志得意满，对群臣说：“朕终日听政，孜孜不倦，希望能知道自己的得失。你们可以说是人才济济，望畅所欲言。”范缜为人耿直，站起来说：“司徒谢胐徒有虚名，不涉政务，但陛下却如此重用。前尚书令王亮擅长治国，陛下却废为庶人。对此愚臣百思而不得其解。”梁武帝听了这番话，脸色变得十分难看，他厉声说：“你还可以更改你所说的话。”范缜固执己见，并无惧色，梁武帝恼羞成怒，宴会不欢而散。
事后，御史中丞任昉遂上奏弹劾范缜，罗织罪名，说他不遵士操，弄口鸣舌，拨弄是非；指责范缜在居丧时拥立武帝，目的是想要位居台辅，而一旦未得重用，就心怀不满，党附王亮，二人私下议论朝政，诽谤正直。因此，建议免去范缜所居官，收付廷尉治罪，委之狱官，以法制从事。
梁武帝对任昉奏书表示赞同，并亲自写玺书责诘范缜，列举了王亮的十大罪状后，气急败坏地问范缜：“对此你还有什么可说的，竟敢妄自喊冤鸣不平！你要对我所说的王亮十大罪状做出回答。”在这种情况下，范缜自知有口难辩，对武帝所诘王亮十大罪状，只是支支吾吾，搪塞而已。但仍未能免除惩罚，被流放到广州。
梁朝时，南朝佛教进入了全盛时期。梁武帝笃信佛教，他在天监三年（504）下诏说：“大经中说道有九十六种，唯佛一道，是于正道；其余九十五种，名为邪道。朕舍邪外，以事正内其公卿百官侯王宗室，宜反伪就真，舍邪入正。”（《广弘明集》卷四）这道诏令，无异正式宣布佛教为国教，一时朝野上下，佞佛成风。但也就在诏令颁发后不久，范缜不顾他被流放的不利处境，将《神灭论》充实完善，修订定稿，并在亲友中传播，再一次向佛教发出了挑战。
