王軍是高爾夫狂熱分子,早在擔任中信董事長期間,據稱曾一天打過97洞,一下午「打」走六個球僮。他曾對自己的部下說過:「退休後找個高爾夫球場做草坪師。」離開中信後,王軍先後擔任中國高爾夫球協會副主席、中國職業高爾夫球協會主席、亞巡賽名譽主席等,親自組織中國業餘巡迴賽等一系列內地賽事。
2006年,王軍受邀到內地最具規模的高爾夫管理公司深圳市朝向管理集團擔任董事長,2007年創辦了高爾夫國際論壇。2011年兩會期間,王軍在接受採訪時表示,「(高爾夫)在中國一直有受歧視的傾向。」2010年,他組織出版了首本《中國高爾夫行業報告》,並倡議在中小學開設高爾夫課程。
王軍去世後,中國高爾夫球協會為這位原特邀副主席發出唁電,稱讚他是中國高爾夫行業推動者,為高爾夫球事業做出重大貢獻。
王軍的現任妻子葉文珊(葉小英)是開國元帥葉劍英的女兒。王軍的女兒王京京活躍於香港商界,曾在美國信孚銀行香港分行、香港青鳥科技等公司任職,並做過上市公司中科環保電力(現已除牌)副主席,捲入一場風暴。
王軍外孫女王吉湘(Clare Wang),畢業於雪梨新南威爾斯大學,現為室內建築師,在香港註冊成立「可萊爾王吉湘設計事務所」。
在王吉湘的微博相冊中,除了個人生活照,2014年7月還有一張她和王軍切蛋糕的合影,爺孫倆擁抱,感情特別好。