【译文】我是不怕辛苦的，但是如果每天被无能的上司随意使唤，会觉得很头疼。

【解析】从画线后面的“毎日振り回されては”可以看出，这是一个被动句，而“上司”是这个被动句中的施动者，要用“〜 に ”来表示。