指南针的始祖——司南，大约出现在战国时期。用天然磁石制成，勺形，圆底，可以自由旋转，静止时勺柄指向南方，古人称之为“司南”。《韩非子》和《鬼谷子》中记载了司南的应用，郑国人使用司南确保不迷失方向。东汉时的王充在他的著作《论衡》中详细描述了司南的形状和使用方法。司南虽然存在一些缺陷，如天然磁体不易找到，加工时容易失磁，磁性较弱，难以旋转等，但它是人们对磁体指极性认识的实际应用。

古代民间常用薄铁叶剪裁成鱼形，浮在水面，利用地球磁场使其指南北，称为“指南鱼”。东晋的崔豹在《古今注》中提到了这种用法。北宋时，曾公亮在《武经总要》中详细描述了制作和使用指南鱼的方法。后来，人们发明了人工磁化的方法，利用地球磁场使铁片磁化，这种方法对指南针的应用和发展起了巨大作用。

沈括在《梦溪笔谈》中详细描述了人工磁化的方法，并介绍了四种磁针的装置方法，其中缕悬法被认为是最理想的方法。沈括还对磁学和指南针的一些问题进行了探讨，如磁针的装置方法、磁偏角和磁倾角的发现等。南宋时，陈元靓在《事林广记》中介绍了另一种指南鱼和指南龟的制作方法。

随着测方位的需要，出现了磁针和方位盘一体的罗盘，方位盘由方形演变成圆形，方便人们判断方位。南宋时，文献中出现了关于罗经盘最早的记载，文献中已经把磁偏角的知识应用到罗盘上。磁偏角和磁倾角的发现使指南针的指向更加准确。

指南针一经发明，就被广泛应用于军事、生产、日常生活、地形测量等方面，特别是在航海上。指南针在航海上的应用有一个逐渐发展过程，从只在日月星辰见不到的时候使用，到不论昼夜晴阴都用指南针导航，还编制出使用罗盘导航的“针路”。指南针的发明是古代先民对磁现象的观察和研究的结果，他们在观察和研究过程中进一步了解了磁的性质，并试图更多地应用这些性质。