相传大禹治水到此，遇一水怪作乱，数载不克，后得灵龟降伏水怪，治水成功。后灵龟化为一山，即龟山。在龟山东端，有禹功矶、禹王庙、摩崖石刻等古迹；晴川阁遗址在禹功矶上，与蛇山矶头上的黄鹤楼隔江相望，“为三楚胜地，千古巨观”。
龟山原名大别山，后又称鲁山，因为东吴大将鲁肃的衣冠冢在此。这名字一直用至明代。
明朝的皇帝极其崇奉玄武，封玄武为帝。玄武龟形，时任湖北巡抚的王俭不知是灵感，还是听了别人的主意，将鲁山改名龟山，奏请朝廷，自然得到批准。于是鲁山就称龟山。隔江相对的黄鹄山就称为蛇山。
这一改也真改得好。不仅黄鹄山蜿蜒如蛇，鲁山蹲伏如龟，而且，顿见出武汉三镇风水气脉贯通，不同凡响。
在龟山的西面，建有向警予墓。墓呈圆形，白色，基环方围。在月湖侧畔，建有古琴台，又名伯牙台。
相传古时伯牙在此鼓琴，钟子期能识其音律，即破琴绝弦，终身不复鼓琴，后人感其情谊深厚，特在此筑台以资纪念。据记载，此台北宋时已有，清嘉庆年间重修，后颓败，新中国成立后修复。
龟山的地形可谓得天独厚。它一边临长江，一边临汉江。长江这边与蛇山隔江相望。汉江那边与汉口江滩相对。最妙的是汉江从它的一侧包抄过来，就在它的脚下，与长江汇合，形成一个三角地，名为南岸嘴，风景极为壮观。
