子供を預けて、ゴルフをすることにどこか抵抗があるのですが……。

自分の時間が持てずイライラしたママは知らず知らずのうちに子供にイライラをぶつけてしまっています。
リフレッシュしてママが元気になることは、子供たちにもいい影響を与えます。罪悪感をもつ必要はありません。
預けるとき、迎えるときは「ごめんね」ではなく「（ママの時間をつくってくれて）ありがとう」という声をかけてあげてください。