只有在两种情形下，用人单位才可以约定由劳动者承担违约金：

（1）在培训服务期约定中可以约定违约金。

（2）在竞业限制约定中可以约定违约金。

根据《劳动合同法》第二十二条的规定：用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。

劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。