為紀念父親鍾江海，鍾棋偉將收藏館的堂名命名為「懷海堂」，但他笑稱，其實父親在世時並不認可他收藏古董的愛好：「他覺得買這些是浪費金錢。」在鍾棋偉看來，父親是觀念非常傳統之人，不會將收藏古董當做投資，更未試過去拍賣場，認為他收集郵票尚且是「正當收藏」，但賞玩器物就有要「玩物喪志」的嫌疑了：「我父親覺得紈絝子弟才會買這些東西，所以後來我買了藏品都不會告訴他！」