祥子离开杨家的原因有：

在杨家得到的的工钱少；杨家的人异常刻薄小气，不把仆人当人看，只把他们当奴役使唤，非得要了穷人的命否则不足以对得起那点微薄的工钱。杨家人的苛刻小气和拼命使唤，令祥子身心疲惫，在杨家呆了四天后由于受气而离开。