相传，古时候有一位叫石驮的农民触犯了官府，被抓到县衙里去坐牢。古时，坐牢的人要家里给送饭，否则会饿毙身亡。其妻明珠挑着大米到县城，找一家亲戚住下，一日三餐把米饭用油盐炒得香喷喷，送到大牢里给丈夫过活。牢卒们一见到亮油油、香喷喷的大米饭，馋得口水直流，明珠送去的炒饭都被牢卒扣除，吃到自己的肚子里，所剩无几给石驮。有一日探监，明珠隔着铁窗看着皮包骨头的丈夫，泪珠涟涟，无计可施。
回到亲戚家，明珠痛哭了一场之后终于想出了送饭的好主意。天微微亮，她就上山采回一篮“乌饭芦”叶，放在窝里煎了一大碗乌黑的叶汁，然后用它煮了一小锅饭，一锅米饭变得乌黑发亮，味道比原来更香。牢卒们一见到“乌饭”，都以为一盘烂饭，捂着鼻子，叫明珠自己直接送给丈夫。明珠把饭端到石驮面前，石驮亦感到莫名其妙，待妻子把“乌饭”的来由告诉他后，石驮感激地接过“乌饭”，不久就恢复了体魄。一年后，石驮期满被释放回家。
明珠死后，这一带人们便在四月初八明珠的生日这天做“乌饭”吃，此习俗一直流传至今。
民间制作乌饭的南烛树叶(俗称“乌饭草”)，主要生长在长江南部丘陵山区一带，制作乌饭的米一般以糯米为主，掺入部分粳米，蒸煮后特别香润可口。民间吃乌饭习俗历史悠久，代代相传。至明代，医药学家李时珍在编写《本草纲目》时，将宜兴制作乌饭的方法收录其中。《本草纲目》载称：“摘取南烛树叶捣碎，浸水取汁，蒸煮粳米或糯米，成乌色之饭，久服能轻身明目，黑发驻颜，益气力而延年不衰。”
在安徽宣城一带是用乌饭叶取汁浸糯米，一般浸一夜即可，将染过色的米洗后蒸煮，可以吃煮好的乌饭，还可以将生的乌米(乌米：用乌饭草染号颜色的生糯米)，制作乌饭团子(乌饭粑粑)：是将白糯米磨成粉状淋水，待干后捏成团子，团子里添加各种馅，再在乌米里滚一下，全身沾满乌米，制作好后上锅蒸煮。一般家家做好后，互相赠送。
