徐州图书馆始建于1930年1月1日,其前身为铜山县图书馆。时有藏书2万余册。


抗战时徐州沦陷期间,伪苏北行政专员公署于1940年在现快哉亭公园内设立图书馆;1944年伪淮海省设立时将其更名为淮海省图书馆。抗战胜利后,并入江苏省民众教育馆。48年12月1日徐州解放,又更名为徐州市人民教育馆。


49年12月1日宣布徐州市人民图书馆正式成立。设址于现市立三院处。至76年在大同街50号(今112号)筹建新馆三千余平方米,78年建成开放。此馆为徐州市“九五”期间,市委市政府立项列为徐州市1999至2000年市政18项重点工程之一。于99年11月18日奠基,当年12月中旬正式开工,2003年12月底建成,是年12月8日正式宣布对外开放。本馆总占地面积40亩,约合2.67万平方米,建筑面积2.15万平方米,为地下局部一层,地上主体两层,局部四层的大型建筑物。其设计藏书容量为160万册(件),可摆放阅览座位1000多个,预装信息节点700多个;设计日均接待读者 2000人次,年借阅文献100余万册(件)次。