绍兴霞川村诞生了很多读书人，其中李慈铭家族尤为突出，他的家族是越中四大巨室之一，在家乡颇有名气，家里藏书丰富。父亲去世早但给他留下了大量书籍供他研读。名气固然重要，但在科举考试中并不占优势。童试共分三关：县试、府试、院试，层层筛选全省考生竞争几十个名额。李慈铭多次参加考试，结果每次都以失败告终，一直到道光三十年（1850年）才勉强考取秀才。他还在咸丰四年（1854年）开始写日记，取名“越缦堂日记”。李慈铭决心参加乡试考举人，但是他11次都没成功。咸丰九年（1859年），30岁的他决定捐官，试图换条出路，为此母亲变卖了田产。他结识了大学士周祖培和尚书潘祖荫等人。这次他获得了副贡资格，但离举人还差得远。咸丰十年（1860年）后，李慈铭继续在乡试中努力奋斗，但是结果还是不如意。 同治二年（1863年），与言社旧友周氏兄弟决裂后，李慈铭的学问和见识更上一层楼。同治九年（1870年），他终于在42岁时中举了。这次中举让他感到解脱和欣喜。李慈铭用了整整二十年才通过这十一次乡试。道光三十年中秀才到同治九年中举人，他经历了二十个年头才终于走到这个阶段。光绪六年（1880年），51岁的李慈铭又一次中进士，并被补授户部江南司资郎一职。道光三十年中秀才到光绪六年中进士之间经历了三十个年头。 进入仕途后的李慈铭并没有变得圆滑圆滑。光绪十六年（1890年），他被任命为山西道监察御史期间遇事敢言不避权势，甚至自嘲过自己行年六十二岁时才降职从正五品为从五品。光绪二十年甲午战争爆发后，忧愤之余他咯血而终逝世时66岁。他写下的《越缦堂日记》跨咸丰、同治、光绪三朝近四十年被称为“日记之大观”。曾朴在小说《孽海花》中写了一个叫李治民的人物形象其实就是李慈铭本人。这个人物在一次名流聚会中被要求“炫宝”时吟出了“日记百年万口传”。