晚清四大藏书家中，归安皕宋楼，杭州八千卷楼之藏均於一九零七年先后散出。基中<百百>宋楼悉数卖给了日本人，八千卷楼书售归江南国学图书馆，只剩下瞿氏铁琴铜剑楼和杨氏海源楼两家，人称"南瞿北杨"。海源阁由杨以增所创立，梅曾亮为之记。"海源一语"，取《礼记》"先河后海"之义，所谓"书犹可也，流之必至於海也，势也。学者而不观於海焉，陋矣。"（梅曾亮《海源阁记》）杨以增以为："学者应涉海而探源，知源之所出也。"故名海源阁。海源阁经过四代人的努力，历时百余年，其藏书规模之大，质量之精，在当时北方藏书家中首屈一指。
    杨以增（1787--1856）字益之，又字至堂，号冬樵，山东聊城人。道光二年（1822）进士，官至江南河道总督。以增平生无他嗜，一专於书。任官其间，正值社会动乱，各家藏书多有散出，其中相当部分为以增所得，由此奠定了海源阁藏书的基础。杨以增藏书主要得自汪士钟艺术书舍。咸丰辛亥（1851）壬子（1852）间，吴门汪氏艺芸书舍书散出，时以增官江南河道总督，所得甚多。汪氏艺芸书舍，源自黄丕烈百宋一厘及袁氏五砚楼诸家旧藏，宋元佳刻极多，故倍受书林关注，除以增所得外，馀归常熟瞿氏铁琴铜剑楼、上海郁氏家稼堂。此后，以增又多方搜罗，诸如鲍氏知不足斋、秦氏石研斋、方氏碧琳琅馆以及海宁陈仲鱼、阳湖孙渊如、大兴朱行君等名家旧物，均可在海源阁找到踪影，是为海源阁藏书的一大特色。以增收藏既富，乃别辟"宋存书室"贮天水旧籍，而以元本、校本、影宋钞本附之，复以收得宋本《毛诗》、《周礼》、《仪礼》、《礼记》、两《汉书》、《三国志》，颜其室为"四经四史之斋"。
    及至以增子绍和，藏书又有进一步发展。杨绍和（1832--1875）字彦合，号勰卿，以增仲子。咸丰二年（1852）举於乡，官户部郎中，同治四年（1865）进士，历官翰林院编修。绍和为官京师时，适清宗室端华乐善堂书散出，绍和觅得极多。乐善堂书源於崑山徐健庵、泰兴季沧苇，而徐、季之书又得自於毛氏汲古阁和钱曾述古堂。端华与弟肃顺及怡亲王戴垣被诛，乐善堂九楹藏书始流落民间（清宗室端华之乐善堂），而海源阁插架由是益富，大有驾南北藏家而上之势。杨绍和著有《楹书隅录》五卷、《续编四卷》、《海源阁藏书目》一卷和《宋存书室宋元秘本书目》四卷。及绍和子杨保彝（1852--1910），就绍和《宋存书室宋元秘本书目》拾遗补阙，撰写《海源阁宋元秘本书目》四卷，著录善本之书四六四部一一三二八卷，海源阁孤本秘籍，大体与焉。又有《海源阁书目》六册，抄本存山东省图书馆。
    海源阁藏书散出於第四代传人杨敬夫之时，原因凡四：一是咸丰十一年，捻军自皖入鲁，抵杨氏别业陶南山馆，与清兵激战，杨氏别业遂陷兵燹，所藏秘籍损失殆半；二是一九二九年土匪王金发陷聊城，司令部即设於杨宅内，海源阁珍藏惨遭糟蹋，乃至以阁书炊火；三是一九三零年土匪王冠军陷聊城，尽攫善本秘籍、碑贴子画；囊括而北；四是一九三零年"九·一八"事变后杨敬夫因生计，自售於一九二七年移藏於天津的珍本九十二种。时传沅叔亲临津沽，雅意延访，并就所经眼宋元本三十种，撰写《海源阁藏书记略》。海源阁遗书，现主要见藏於北京图书馆和台湾中央图书馆。