张良是西汉的开国元勋，汉高祖刘邦的著名谋臣。传说刘邦平定天下后，因滥杀功臣巨而使大臣门恐慌不安。张良为求明哲保身，乃主动对刘邦道：“家世相韩，及韩灭，不爱万金之资，为韩报仇强秦，天下振动，今以三寸舌为帝者师，封万户，位列候，此布衣之极，于良足矣。愿弃人间事；欲从赤松子游耳。”（《史记·留候世家第二十五》）赤松子乃古代神仙之类人物，张良此后“乃学辟谷，道引轻身。”汉高祖没有挽留他，听凭张良隐退，学赤松子去云游四方了。

    传说张良到张家界后，曾漫山遍野寻访过赤松子，他开始到天门山一带没有寻到，后到黄石寨半山腰找到一间岩屋，并得到赤松子留下的一个炼丹葫芦，从此就在黄石寨住了下来。后来汉高祖死了，吕后派武陵君太守领兵攻打黄石寨，张良据险固守山寨，危急中又得到黄石公相助：从天池降下几条大鲤鱼甩在崖下，使官军认为无法围困饿死张良，只得撤兵而去。张良此后一直生活在张家界，直到百年逝去。张良死后，据说其墓在水绕四门，并有诗为证：踏遍青山寻古人，四门水绕得佳城；香炉岩上旧土堡，汉代留候张良坟。那黄石寨原本无名，也因张良居住并为纪念黄石公的相助而取了此名。当然，关于张良死后的真墓地是否在张家界，尚待考古学进一步考证才能作定论，因为权威的《史记》也没有明确说出其究竟葬在何处，只是交代曾授张良兵书的那位下邳圯上老人当初说过“十三年孺子见我济北，果见谷城山下黄石，取而葆祠之。留候死，并葬黄石（冢）。每上冢伏腊，祠黄石。”从这些文字记载中可以看出，张良死后是与黄石公合葬在一起的，至于埋葬的具体地点，却未明确点出，所以，张良死后的墓葬地也就成了一大古谜。