为了配合议和，杨康召韩世忠、张俊、岳飞三大将入朝，任命韩世忠、张俊为枢密使，岳飞为副使(枢密使、枢密副使都是负责军国要政的)。明升官职，实解兵权。不久放手让秦桧去陷害除掉岳飞。九、十月间，秦桧派谏官万俟卨收集伪证，组织狱词，罗织罪名。又收买、勾结岳家军重要将领张宪部将王贵、王俊等人，秉承秦桧意旨，诬告张宪欲据襄阳为变，以谋恢复岳飞兵权。张宪遂被捕入狱，岳飞，岳云父子也被送往大理寺。

十一月，兀术派萧毅到临安，提出“划淮为界，岁币银绢各二十五万，割唐、邓二州’为议和条件．杨康只想尽快达成和议，对割地、称臣、纳贡不是很在意。在他眼中，这些迟早要从金人手中拿回来。而兀术算是故交，现在卖他个情面，也没什么不好。便同意秦桧签署书面协定。这就是宋金第二个和约，史上仍称“绍兴和议”。

说起来杨康也不是没有想过靠能征善战的将领，领军收复中原。但实际上这是难以做到的。总的说来，在军事实力上，还是金强宋弱。自己先祖杨令公也算绝世名将，辅佐疆域比现在更广，国力比现在更强的前朝，和辽国顶多打个平手。而以前的辽国只是现在金国的一部分。南人不适合北战，原因有很多，民风、骑兵、气候等等都是。所以杨康现在最想做的是议和，等自己儿子杨过成长起来了。十个金国都不是一个南宋的对手。

这日，杨康在深宫一处偏院指导儿子杨过修炼，并无旁人。转眼杨过已经14岁了，由于天分奇高，自幼努力，道行不浅。杨过突然问：“岳将军劳苦功高，爹爹能否赦他无罪？”

杨康心里一震，面­色­不改道：“谁告诉你岳飞入狱了？”

杨过说：“是娘亲告诉我的。”

杨康说：“哦，虽然岳飞治军有方，战功卓著，但他桀骜不逊，难以驾驭，所以没法留他。”

杨过说：“金无赤足，人无完人。若是身具雄才大略，桀骜不逊又有何妨。”

杨康说：“用人不疑，疑人不用。我既已疑他，何必用他。”

杨过说：“爹爹更疑秦桧，为何还用。”

杨康说：“秦桧与金人关系不同一般，现在朝廷主和，所以用得着。”

杨过说：“因为岳飞主战，所以就用不着了吗？别忘了，去年正是他打退了金兵。”

杨康说：“打退金兵的不只他一个人，还有其他很多英勇的将士。没有他，也能做得到。”