合同只约定卖方违约责任可以吗

不可以。合同只约定一方的违约责任是显失公平的行为，违背了《民法典》公平的原则，双方应该补充约定买方的违约责任。
《民法典》第六条规定，合同当事人的法律地位平等，一方不得将自己的意志强加给另一方。
第四条规定，当事人依法享有自愿订立合同的权利，任何单位和个人不得非法干预。
第五条规定，当事人应当遵循公平原则确定各方的权利和义务。
第一百四十七条规定，下列合同，当事人一方有权请求人民法院或者仲裁机构变更或者撤销：
(一)因重大误解订立的;
(二)在订立合同时显失公平的。
一方以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立的合同，受损害方有权请求人民法院或者仲裁机构变更或者撤销。
当事人请求变更的，人民法院或者仲裁机构不得撤销。