人类从什么时候开始拥有了与磁铁相关的知识，现在已经无从考证了。一些传说认为，游牧民族附带铁制物品的鞋子或手杖有时会吸附黑色的石头，这就是人类发现磁铁的起源。在自然界中，世界各地均发现过名为“磁铁矿”的铁矿石，由于磁铁矿本身具有磁性，所以世界各地的民族都应该意识到了磁铁的存在。
磁铁的英文名称为“magnet”，关于它的词源有多种说法，古希腊的马格尼西亚地区出产磁铁的说法最受认可。哲学家泰勒斯（约前624—前546）也在著作中提及磁铁，从中可知早在古希腊时代人类就已经注意到了磁铁的存在。
还有众多古希腊哲学家曾经思考过，当磁铁吸引铁块的时候，是否为铁块吸引磁铁，并对磁性的本质提出过多种假设。例如，提出原子论的著名哲学家德谟克利特（前460—前370）认为，物以类聚人以群分，铁与磁铁性质相同才会互相吸引。
泰勒斯
中国先秦时期有人将磁铁吸引铁块比喻为慈母恋子，因此称磁铁为“慈石”。现在河北省邯郸市下辖的磁县在古代曾被命名为慈州，因为该地出产磁铁。从中可知，在世界的任何地方，人们自古以来就对磁铁产生了浓厚的兴趣。
一直以来，世界各地的人们为磁铁的神奇力量所倾倒。各文明都曾流传许多关于磁铁的奇特功效的说法。古代欧洲的人们相信在枕头下偷偷放置一块磁铁，背叛丈夫的妻子就会被直接弹下床，还有人认为白色的磁铁是激发爱慕之情的特效药等。
