清康熙年间,翰林院侍读乔莱因不满仕途污浊,罢官归里后修建了私家园林,取名纵棹园,用以潜心读书,吟诗作画。清代中期,其后人曾捐赠建画川书院。清末民初改为安宜学堂、民众教育馆,后被日军盘踞,园林遭到毁坏。解放后,园林由当地政府修葺一新,颇具规模,定名为宝应县人民公园,直至1982年恢复原名——纵棹园。