お礼を申し上げるのが遅くなりましたが、貴国訪問の際にはお世話になりました。
I regret the delay in writing to you to thank you for your hospitality on my visit to your country.