蕺山书院前身为相韩旧塾。南宋乾道年间，山阴学者韩度及其孙韩性在蕺山讲学，时称“相韩旧塾”，元代大画家王冕曾在此蒙学。明万历年间，刘宗周迁居蕺山之下，讲学授业，培养了一大批杰出的人才。学者尊称他蕺山先生，而这里也改称为蕺山书院，成为蕺山学派的发祥地。在蕺山学派的弟子中，以黄宗羲和陈确最有影响。清末时，书院改为山阴县学堂，徐锡麟曾执教于此。范文澜、陈建功、许钦文等人先后在此就读。