余干县图书馆初创于1928年5月,当时由政府购买报纸、杂志及募集旧书、附设于教育局,不久停办。1935年恢复,1941年并入民众教育馆,1960年重新设立县图书馆,与文化馆合署办公。1978年恢复机构,1991年在东山岭南麓兴建新图书馆,建筑面积1210平方米,阅览座位260个,阅览室面积530平方米,书库面积300平方米。2013年第四次全国公共图书馆馆评估,获得三级图书馆称号。
内设报刊阅览室、图书开架阅览室、少儿阅览室、电子阅览室、文献资料室、古籍保护室、盲人阅览室、学习报告厅等。
藏书6.6万余册,馆藏文献资料7000册,其中古籍976册,计算机51台。