当然，相对深化的知道，得益于江弢叔、胡澍同赵之谦之间对相互学术蕲向的深化了解。江弢叔的题跋作于他告别赵之谦离温赴闽之前，此时二人虽在永嘉相晤订交尚短少一年，却来往一再，这不只因为赵氏关于江氏诗文风格的赏识，更源自二人都有跟从缪梓担任幕僚的阅历。缪梓之于赵之谦不只是幕主，更是有知遇之恩的授业恩师，在赵之谦的《行略》中即称其“感武烈知，终身执弟子礼”。咸丰十年缪梓殉难杭城后，因浙江巡抚王有龄追论缪梓主创株守之策致使杭城失守，因夺恤典。闻此变故的赵之谦不只编撰缪梓《事状》，更亲赴京师督察院上书，请还恤典，足可见赵氏关于缪梓的拳拳之忱。缪梓在杭州被难之际，赵之谦正在北行途中，而江弢叔恰在缪梓幕中，不只全程参加了杭城之役，更在乱军中亲为缪梓收尸，如其《静修诗》中云：

　　……

　　昨收缪公尸，遍体丛刀痕。

　　在官受其知，时又参其军。

　　悲来激肝肺，不忍身独存。

　　当赵之谦在督察院为师鸣冤，并由闽浙总督左宗棠复查，以缪梓在对太平军作战中并未贻误战机的结论复还恤典时，江氏又写下了安慰忠灵的《闻缪南卿先生蒙恩复还恤典，时湜将回杭州》：

　　谋人军师败能死，律以春秋无罪矣。

　　惟公死事尤惨烈，受诬六年此昭雪。

　　清波门启对西湖，城上灵旗时有无。

　　归日丝莼犹可荐，哭公声撼毕逋乌。

　　所以，赵之谦与江弢叔虽是新交，却有旧谊，二人同佐缪梓戎幕，既感其知，又受其教，在永嘉订交之前就已互有耳闻，而遭受战乱团聚于温州，天然在思想、情感上因缪梓这层联络，相互有着更深的共同。并且，据《章安杂说》的自序所言，温州期间的这批涉猎广泛的简札，也大多是与江氏“上下议论，互有弃取”的效果，可见二人在学术思想方面的深化沟通。也正因为江氏关于赵之谦而言可谓知音，赵氏才会以《瓯中物资卷》相赠，并请其为《异鱼图》题跋。江弢叔的跋文称：

　　疏草木，注虫鱼，非我撝叔事，然且为之枉其心矣。今天下之怪物不在鳞介，亦既时产于海滨，撝叔本年客瑞安，既饱见之，使能以笔为刀而尽脍焉。弃其残者于海，必且化为十百千种异鱼而为画所不能尽矣!时撝叔方佐东瓯戎幕，故记之如此。辛酉十月九日，长洲江湜。