本题考查法律常识，主要考查民法的相关知识点。根据《合同法》第121条规定，当事人一方因第三人的原因造成违约的，应当向对方承担违约责任。当事人一方和第三人之间的纠纷，依照法律规定或者按照约定解决。

A项正确，甲公司与乙公司签订货物的买卖合同，因第三人原因造成违约的，应由乙公司向甲公司承担违约责任，甲公司由此造成的损失应当由乙公司承担。

B、D项错误，乙公司向甲公司承担违约责任后，可向第三人廖某追偿，而不是与廖某一起向甲公司承担连带责任或按份责任。

C项错误，廖某作为第三人，并不是甲公司与乙公司货物买卖合同的相对人，因此不应由廖某向甲公司承担赔偿损失。

故正确答案为A。