明言はしませんが恐らく、サッカーですね。
まず、体力的には、
野球の場合、試合中に審判は所定の位置から移動しませんが、
サッカーは試合の進行・ボールの位置に合わせてかなりの距離を移動します。
次に、判定のカバー範囲、
野球の場合はボール周辺の判定に限られますが、
サッカーの場合は、オフサイドやイエロー・レッドカード、ロスタイム決定など、
ボールが直接関与しない事項の判定・決断も同時に求められます。
ルール上、
野球はピッチャーがボールを投げないと次に進まない、
ゲームの連続性が少ないのに対して、
サッカーはゲーム開始と同時にすべての動作に連続性があり、
「それじゃ。プレイ!」という準備を整えてからのゲーム進行ではないので、
気を抜けないという点ではやはりきつい仕事でしょう。