1922年诗人库兹明替他选编了一本诗集《悲痛》, 在德国柏林出版。这本诗集由于没有作者参加, 编排毫无顺序, 所以, 1923年他自己选编了按诗歌创作的时间顺序编排的诗集《第二本书》出版, 这是对《悲痛》的修订和增补。美国学者克拉伦斯·布朗指出, 《悲痛》是一部经过象征主义者们熏染的诗集, 只要将之与《石头》中的早期诗作以及早期阿克梅主义的教条式的纲领相对照, 就可证明这一点。他的第二部诗集实现了属于他自己的独一无二的声音。曼德尔施塔姆将与之最近的老师们逐个审视了一番, 这些老师包括杰尔查文(1743—1816)和丘特切夫(1803—1873)这样的诗人, 他善于将优雅的语言威力与仪典的, 甚至是雄辩、庄重的举止结合在一起。这两本诗集的出版, 使他声誉鹊起, 一跃成为广为人知的诗人。就在1923年, 他与娜杰日达·雅科夫列芙娜结婚了。
从1924年起, 曼德尔施塔姆实际上已经被禁止发表作品。但当时是新经济政策时期, 一家私人出版社(老板是诗人勃洛克的堂兄弟)于1925年出版了他的第一本自传性散文集《时代的喧嚣》。这本书后来被西方评论家称为俄罗斯散文史上划时代的珍品, 据说他的两个女友人对此书态度截然相反, 阿赫玛托娃拿到它时如获至宝, 而流亡国外的茨维塔耶娃则把它撕得粉碎, 认为是对白卫运动的背叛。1928年, 在布哈林的帮助下, 经过书刊机关的严格检查, 曼德尔施塔姆终于又出版了他的最后一部诗集《诗歌》和论文选《论诗歌》。同年, 还在杂志上发表了唯一的一篇中篇小说《埃及邮票》。汪剑钊指出, 这个阶段, 曼德尔施塔姆创作的基调和风格都有所改变。他转向对“具体生活”的选择, 关注都市生活的具体场景:城郊的娱乐场, 地下饭店, 路德派教徒肃穆的葬仪, 冬天涅瓦河上的汽轮, 出售热蜜水和小圆面包的小贩, 酒鬼, 护院人, 骠骑兵, 踢足球的孩子……在他的作品中, 出现了粗野的场景, 讽刺怪诞的戏仿, 对三流电影剧本的改编, 甚至模仿年轻美国女旅行者而发出可笑的声调。
