曼德尔施塔姆的创作始于中学时代。当时捷尼舍夫学校的校长, 一位二流象征派诗人弗·瓦·吉皮乌斯(1876—1941)对他有较大的影响, 他后来称他们的相识为自己的“第一次文学会晤”。在吉皮乌斯的影响下, 曼德尔施塔姆开始写诗。1907年的最早两首诗受到民粹派传统的影响, 表现了公民精神。1907—1908年在巴黎的诗作, 则显示了对现代主义的兴趣。在彼得堡学习期间, 他受到老一辈诗人安年斯基的赏识, 并在这位前辈的引荐下, 进入彼得堡文学圈, 开始与库兹明、维·伊万诺夫、戈罗杰茨基、阿赫玛托娃、纳尔布特及古米廖夫等人交往, 并与《阿波罗》杂志同人结识, 还经常光顾维·伊万诺夫塔楼的“星期三沙龙”。1909年他首次在《阿波罗》发表了处女作——诗五首(《她还没有出生》《未表露的忧郁》《微火变得更细小……》等)。这五首诗被认为是象征派诗歌的杰作, 使他一鸣惊人。但他注定命途多舛。此后, 由于保守派刊物认为他是犹太人——尤其是象征派领袖勃留索夫激烈反犹, 他主持的刊物对曼德尔施塔姆往往是不屑一顾, 马上退稿。而自由主义刊物则因其“反社会”的立场而把其诗拒之门外——因为他以一种孤独、超然的眼光看待生活与一般客观存在, 力求传达自己各种感受的“心理间隔”。汪剑钊指出, 其“早期诗歌所表达的情绪、主题和形象, 大多出自一个源泉:‘难以言喻的’悲哀, 室内孤独, 对远离矛盾和悲剧的生活的渴望”。
1913年, 曼德尔施塔姆自费出版了第一本诗集《石头》, 共收入23首短诗。该诗集被认为是俄罗斯诗歌中象征主义与阿克梅主义交接的重要标志之一。诗集的一部分是象征主义的, 明显受魏尔伦(“首先是音乐”)和丘特切夫(“说出来的思想已经是谎言”)的影响, 一部分是阿克梅主义的。古米廖夫在《关于俄国诗歌的通信》中对诗集作了高度的评价, 勃留索夫、勃洛克也对此诗集赞不绝口, 叶赛宁甚至说道:“有他在写诗, 我们还写个什么?”曼德尔施塔姆也因此被称为“石头诗人”。有评论认为, 这本诗集是他“诗意地理解世界和时间”所迈出的第一步, 其中弥漫着对社会变动和世纪性灾难的预感, 诗人初步展示了自己创作风格的多种要素:严格的格律、凝重的词句、客观化的物象、造型上的建筑感和诗意的文化色彩, 等等。他喜欢在平凡中创造奇迹, 力图对远古文明, 如古希腊、古埃及、古印度等文化的积淀进行综合, 系统地研究和探索它们深层的联系, 把时间当作空间的第四维度, 通过对历史、神话的朦胧回忆, 来领悟现实的生活, 追求石头般可感可触的冷静、坚硬和持久, 在对历史的词语还原中实现自我的精神还原。刘文飞认为, 该诗集所具有的深厚的文化内涵、冷峻的诗歌意象和优雅的旋律结构让人耳目一新, 使他迅速成为俄国诗坛的重要诗人, 与古米廖夫、阿赫玛托娃并列为阿克梅诗派的“三驾马车”。