据说，明朝永乐年间。谢下村有个书生名叫杨钦，从小读书就很聪明，老师讲头他能晓尾。杨钦又很勤奋，经常带着书本到村前的山坡．坐在一块大石上诵读，常常忘记回家吃饭。后来杨钦赴京参加科举考试，高中进士，官至翰林院编修。
杨钦有功于朝廷，辞官还乡时，皇帝为了表彰他的功勋，亲赐鞋一双，并命人打开百宝箱，任由杨钦挑选一件宝物。杨钦看到百宝箱里有一袋荔枝种，心想：如果将家乡的山岭种上荔枝，岂不是可以造福子孙后代吗?于是。杨钦什么也不要。只拿了一袋荔枝种。群臣
见了无不赞誉。
杨钦拜辞了皇帝。就收拾行李打道还乡。行至高州(今属茂名市管辖，是廉江邻近县，相距百里左右)地界，天已将黑，便投宿旅店过夜。由于旅途辛苦，杨钦倒头就呼呼睡去。店主是个见利忘义的小人，看见杨钦装扮不凡，又发现那个布袋连睡觉也不离身边．猜想里面一定有什么宝物。待到深夜。店主蹑手蹑脚地摸入杨钦的房间，偷偷换了布袋。
且说杨钦回到家乡，第一件事就是种荔枝。当他打开布袋时，发现原来细粒的荔枝种变成大粒的了。回想路上的情况，晓得是那个高州店主做了手脚，换了荔枝种。杨钦非常气愤，决定重上京城。他骑上白马，日夜不停地赶往京城。皇帝听了杨钦的汇报，却哈哈大笑起来：“高州店主偷去的荔枝种是晋凤枝，我再赐给你火山枝就是了。晋凤枝味道虽甜，但寿命不长，而火山枝果红枝旺，砍一发十，千年不败哩!”
听皇帝这么一说，杨钦转怒为喜，立即启程返乡。回到家乡，马上把那袋火山枝种在村前那座大山上。不久，这座大山便长满了荔枝树。
为了纪念皇帝赐鞋和荔枝种的圣德，杨钦把自己的村名“茨洞根村”改名为“谢鞋村”。把种荔枝的那座大山“狮子山”改名为“谢鞋山”(后来，人们把“谢鞋”误写成“谢下”了)。同时，在山顶建造书房，会友吟诗，研究文史，安享晚年。直到现在，山顶上还遗留有天然石椅一张，人称“翰林椅”，就是传说中杨钦小时候坐着读书的那块大石。光滑滑的。谁看见了，都想爬上去，坐一坐，沾点灵光。有诗赞日曰：
曾沐殊恩入翰林，翰林风月未关心。
瀛洲影射孤鸿渺，鳌禁难拘野鹤临。
烟雨壶蓑流舞泽，风花两味壮陶襟。
茅檐高出干峰首，百鸟归来没处寻。
谢下山上的野生荔枝树一般高十多米，荔枝花期是二月初到四月初．一年开花一次．花形小．呈淡黄色，不耀眼。雌雄花不同时开放，以增加授粉的机会。一个荔枝花序，生花一二千朵，但结果比其他品种的成数要多，打破了“荔枝十花一子”的谚语。
廉江野生荔枝果大，皮略暗红色，核小，肉质清甜，一般单果重30克左右，可吃部份在8成以上。
注意：
未经保存处理的荔枝有「一日色变，二日香变，三日味变，四日色香味尽去」的特点。荔枝的保鲜相对较为困难，荔枝火气很大，有些人吃多了会烂嘴巴或流鼻血 民间流行的解决方法是喝适量的淡盐水或蜜糖水。
荔枝是补血、壮阳火之物，面对这白玉凝脂般的佳果，热症的人惟有忍忍口。痛风、糖尿患者尤其不宜多吃。 吃多了，可服用以下一款茶，可收「降火」之效。
