Die Buddhisten halten ihn für einen Fußabdruck Buddhas, die Hindus für einen Fußabdruck des Gottes Shiva und die Moslems für einen Fußabdruck Adams, des ersten Menschen. Sie glauben, dass Adam an dieser Stelle aus dem Paradies vertrieben wurde. Auf dem Gipfel hängt eine Glocke, die die Pilger läuten, wenn sie oben angekommen sind.
Der Berg wird auch Schmetterlingsberg genannt: Einmal im Jahr setzen sich plötzlich in allen Teilen der Insel große Schwärme kleiner gelber Schmetterlinge in Bewegung und fliegen zum Adam‘s Peak, um dort zu sterben. Die Wissenschaft hat bisher keine Erklärung für das Verhalten der Schmetterlinge gefunden. Bisher wurden in Sri Lanka 242 Schmetterlings-Arten entdeckt.