巴别尔在《自传》中谈道:“到1923年我才学会明了简洁地表达自己的思想, 那时我重新开始写作”, “我认为我的文学创作开端是在1924年初”。因为在1924年, 《红色处女地》《列夫》《俄罗斯现代人》等莫斯科杂志相继发表了巴别尔一系列描写骑兵军的小说, 共30多篇, 这些作品使他一举成名。1924年10月, 《真理报》发表评论, 称巴别尔为苏联文学“冉冉升起的一颗新星”, 就连一向态度粗暴的“拉普”评论家也对《骑兵军》青眼有加, 列维奇在《在岗位上》杂志1924年第1期发表文章, 宣称在巴别尔之前, “还没有人在文艺作品里如此描绘过布琼尼的战士们的那种英雄主义, 天生的革命性, 以及哥萨克**不羁的游击习气”, 称赞巴别尔的艺术才能, 认为他“具有惊人的简洁, 善于三言两语勾出完整的形象, 新颖独特, 内容与形式完全一致, 语言无与伦比, 生动形象, 表现力强”, 并且断言:“《骑兵军》将永远是真实的而非臆造的革命性的典范。”1926年, 这些作品结集出版, 定名为《骑兵军》。不过, 《骑兵军》得到的不光是赞扬, 也引发了一场激烈的争论, 这就是20世纪20年代苏联文坛上轰动一时的“元帅与文豪之争”, 即骑兵军统帅布琼尼与大文豪高尔基之间的公开争论。
布琼尼在《十月》杂志1924年第3期上发表文章, 指责巴别尔描写的不是骑兵军, 而是真正的马赫诺匪帮, 巴别尔诬蔑和诽谤骑兵军, 这样写红军的人只可能是白卫军和明显的阶级敌人, 他还指出:“小说作者使用‘骑兵军’这样响亮的名字, 目的显然是要唬人, 使读者相信过时的谎言, 即我们的革命是由一小撮匪徒和无耻的篡权者搞出来的。”这当即遭到沃隆斯基等一批有声望的评论家的反驳, 高尔基更是多年来一直维护巴别尔、反驳布琼尼。他在1924—1928年这五年里与许多作家通信, 热情地称赞巴别尔的《骑兵军》, 坚决驳斥布琼尼的指责, 认为像《骑兵军》这样的作品是不能“站在马的高度”来批评的。
1928年9月30日, 高尔基在《真理报》和《消息报》发表了《向工农通讯员和军队通讯员谈谈我是怎样学习写作的》, 其中谈道:“布琼尼同志已经攻击了巴别尔的《骑兵军》, 而我不觉得他该这么干, 因为布琼尼自己不但喜欢装饰他的战士们的外貌, 而且也喜欢打扮他的马匹的外表。而巴别尔则美化了他的战士们的内心……人在很多方面还是野兽, 而且在文化上, 他还是一个少年, 因此去赞美和美化他往往对他很有益。”
布琼尼不服, 在同年10月26日《真理报》上发表了《致马·高尔基的公开信》, 首先承认在文学问题上自己无法与高尔基争辩, 但自己攻击巴别尔的《骑兵军》是有道理的, 因为巴别尔对骑兵军的描述, “只是发挥了老女人们的闲话, 翻掘了老女人们的垃圾堆, 然后带着恐惧散布什么红色战士拿人家的面包和鸡的谣言, 他发明了从没发生过的事情, 朝我们最优秀的共产党指挥员身上栽赃, 听任自己肆无忌惮地瞎编乱造, 简直就是扯谎”, 更为重要的是, “巴别尔小说的主题被这个有色情狂的作者的主观感觉扭曲了。他讲的故事从一个疯子犹太人的胡言乱语, 到对天主教堂的打砸抢, 到骑兵军鞭打自己的步兵, 到一个有梅毒的红军战士的肖像, 而以展现作者的科学好奇心结束, 此时的他想看看一个被十名马赫诺的人强奸过的犹太女人是什么样的。正像他把生活当成有女人和马匹在那儿走动的五月的牧场, 他也这样看待骑兵军的行动, 而且, 他是通过色情的棱镜看的”。