五郎上了五台山后，智聪禅师和他大谈佛经，并说杨家虽有功于社稷，但在战场上杀戮太重，以至遭受灭顶之灾。劝五郎全心修佛，减轻罪孽。于是五郎从此出家，潜心修佛，为免一身武艺失传，便将杨家棍、杨家刀、杨家三十六路梨花枪等杨家传统武术传于杨家子弟。在此基础上杨五郎还发展了其他的僧人也加入，也为五台山培养了一批护院武僧。