青年时期的方以智常与朋友相约而游、把酒论诗，并经常上书直陈时弊，从而成为名噪一时的“明季四公子”之一。他常以“狂生”自诩，在《孙武公集序》中说：“人人以我等狂生，我等亦相谓天下狂生也。”[14]在《旷达论》中，他以为“旷达之士”就是“自行至性，而大不踰闲。黄金万两，轩冕公侯，视之漠如。不易其所有，故其远览世外，旁若无人者，要以淡然于利禄，不动心也”[15]。此处“旷达之士”的“不动心”，未必就是孟子所谓的“不动心”，其“心”亦不是他后来在《易余·如之何》中说的“泰岱可拔，虚空立碎，若决河海”的道德创造之本心。此时的“不动心”之义更多还是嵇康“心无措乎是非”之于是非不动心。“自行至性”之“至性”亦不是他后来以“全树全仁”之“仁”为内涵所规定的“性”。自称为“诗酒狂生”的少年方以智所言“不动心”与“自行至性”之心与性的内涵实本玄学家的“无”。又因其德性之心性不立，不知儒家圣人之“率性”实本仁体、本心而来，并由着实的工夫来支撑，故此时的“率性”并非《中庸》自“天命之谓性”及“诚”来说的“率性”，而正是他中晚年所反对“煅炼不熟，必流狂邪”之“狂邪”态。
（二）“无故不去琴瑟”
出于对“率性稍涉勉强，便云非性”的担忧，方以智并不高唱“率性”之境，而是提出了“无故不去琴瑟”的说法。他说：
圣人知人之性皆善，可以循之不息而至于圣也，故制礼以节之，作乐以和之。安于仁，乐之本也。动而中，礼之本也。故在车则闻和銮，在行则闻佩玉，无故不去琴瑟，视听言动，遁礼法而动，所以教人忘嗜欲而归性命之道也。[16]
“去琴瑟”出自《论语》孔子问诸弟子之志一章，“子路、曾皙、冉有、公西华侍坐”，当孔子问曾皙“点！尔何如”时，曾皙“鼓瑟希，铿尔，舍瑟而作”，对曰：“莫春者，春服既成。冠者五六人，童子六七人，浴乎沂，风乎舞雩，咏而归。”言罢，“夫子喟然叹曰：‘吾与点也！’”（《先进》）宋明理学家遂认曾点“舍琴”、“风乎舞雩”为圣人之境。
方以智“无故不去琴瑟”的忠告，陈白沙早已有之，他说：“舞雩三三两两，正在勿忘勿助之间，曾点些儿活计，被孟子一口打并出来，便都是鸢飞鱼跃。若无孟子工夫，骤而语之，以曾点见趣，一似说梦。”[17]黄宗羲亦认为主张自然、洒脱和乐的王东崕是“犹在光景作活计”，他说：“盖自夫子川上一叹，已将天理流行之体，一日迸出。曾点见之而暮春，康节见之而为元会运世。故言学不至于乐，不可谓之乐。至明而为白沙之藤蓑，心斋父子之提唱，是皆有味乎其言之。然而此处最难理会，稍差便入狂**一路。所以朱子言曾点不可学，明道说康节豪杰之士，根本不贴地，白沙亦有说梦之戒。细详先生之学，未免犹在光景作活计也。”[18]但他们都并非否定“曾点之趣”，黄宗羲以为“朱子言曾点不可学”，只是因为“此处最难理会，稍差便入狂**一路”；陈白沙以为“以曾点见趣，一似说梦”，是设“若无孟子工夫”而为言。此同于方以智“率性稍涉勉强，便云非性”和“煅炼不熟，必流狂邪”之警示。所以，历来言学者都不在此境方面多加宣扬。因为王艮父子特重王阳明“乐是心之本体”一义，专以此为学术旨趣，故黄宗羲视东崕为“犹在光景作活计”。方以智亦对泰州学派之学风提出了批驳，他说：“只爱门风紧峻、问答尖新，发狂慧而守痴禅，迷方便而违宗旨，此病更深，理学家亦且堕之。”[19]此语虽然没有点出姓氏，但从“发狂”、“门风”等字眼来看，应该是指王氏父子。
