雅典奥运会，是刘国梁作为中国男乒主教练在奥运赛场上的首秀，然而，对于刘国梁来说，他的奥运首秀无疑是不成功的。年雅典奥运会，刘国梁作为中国男乒主教练，首次带领王励勤、马琳和王皓，才加了雅典奥运会的男单比赛，同时还有孔令辉/王皓和马琳/陈玘这两对男双组合。当时的马琳世界排名高居第一，是雅典奥运会的男单头号种子，并且在年和年两次获得世界杯男单冠军。是奥运会单打夺冠的最大热门。王励勤是雅典奥运会的二号种子，与此同时，王励勤还是年的世乒赛男单冠军。当时的小将王皓世界排名第四，是赛会的四号种子。无论从哪方面来看，当时中国队能应该能够获得了奥运会的单打冠军。奥运会抽签仪式结束之后，一切都在国乒教练组的意料之中。作为头号种子的马琳独守上半区，而王励勤和王皓把守下半区。不出意外的话，上半区的马琳应该可以顺利晋级决赛，而下半区的王励勤和王皓将会会师半决赛，胜者进入决赛，和马琳会师。一切顺利的话，可以说奥运会男单冠军几乎可以提前锁定。然而，比赛的魅力就在于充满了不确定性。谁也不会想到，头号种子马琳在1/8决赛，遇见了已经将近40岁的老瓦，而当时的马琳刚刚24岁，正是一个运动员的黄金年龄。而且马琳早在年世乒赛就战胜过老瓦，此后两人有过十几次的交手，马琳从来没有输过。然而第一局比赛，马琳和老瓦就争夺得非常激烈，关键时刻老瓦凭借丰富的大赛经验，抢攻上手，以11-9的比分率先赢下第一局。第二局比赛，马琳依旧迟迟找不到比赛状态，或许是奥运会带来的巨大压力，严重影响了马琳的发挥，老瓦很快就取得了9-5的领先，此后的马琳如梦方醒，连追四分，将比分追至9平。但10平过后，老瓦再次连得两分，以12-10的比分再胜一局。第三局比赛，马琳放手一搏，一路领先以11-7的比分扳回一局。但是在第四局比赛中，老瓦再次占据了场上的主动，以11-5的比分再次胜出。第五局比赛，马琳一度取得了9-6的领先，但是随后的马琳打得开始有点保守，老瓦连追两分，尽管马琳叫了暂停，但是暂停回来之后，马琳依然不能放开手脚，老瓦连得3分，以11-9的比分拿下全场比赛。就这样，头号种子爆出一大冷门，无缘奥运会前八。马琳的失利，也令中国男乒一时间陷入了危机。好在王励勤和王皓还是发挥稳定，各自战胜对手，顺利晋级男单四强。同时，晋级男单四强的还有老瓦和韩国的柳承敏。半决赛，王励勤对阵王皓，老瓦对阵柳承敏。当时的王励勤是年世乒赛男单、男双、男团冠军，也是悉尼奥运会男双冠军（与阎森），而王皓当时只有一个多哈世乒赛男团冠军，单打、双打都没有获得过世界冠军。而且，在雅典奥运会前一年多的时间里，在正式比赛中，王励勤从来没有输过王皓。然而，半决赛中，王皓却发挥神勇，以4-1的比分击败了王励勤进入决赛。这是一场充满了争议性的比赛，很多球迷都认为王励勤在半决赛中被迫让球了，因为无论是老瓦还是柳承敏打进决赛，从过往的历史战绩来看，王皓对他俩都保持全胜，而王励勤却对老瓦和柳承敏都有过输球的历史。当然，关于半决赛王励勤让球的猜疑，时至今日也没有一个明确的说法，倒是王皓的主管教练吴敬平透漏过，自己的比赛之前，违规研究过王励勤的比赛录像，从中找出对付王励勤的破绽，才帮助王皓战胜了王励勤。另外一场半决赛，柳承敏发挥更加出色，击败了老瓦闯进了决赛。决赛中，王皓对阵柳承敏。在雅典奥运会之前，王皓和柳承敏有过多次交手，王皓保持不败的战绩，就好像现在的陈梦对伊藤美诚一样，不同的是，王皓和柳承敏的交手次数更多。看上去，王皓夺冠的前景一片大好。然而，面对打疯了的柳承敏，第一局比赛王皓就被打蒙了，上来就以3-11的比分输掉了首局。第二局比赛，王皓打起精神，以11-9的比分扳回一局。但是，随后的柳承敏越战越勇，正手搏杀果断坚决，以两个11-9赢下第三和第四局比赛，大比分3-1领先。尽管在第五局比赛中，王皓拼尽全力以13-11的比分扳回一局。但是在第六局比赛中，王皓还是没有能够挡住柳承敏的冲击，以9-11的比分输掉比赛。就此，强大的中国男乒在雅典奥运会中丢掉了最为看重的男单冠军，这也是继续年和年之后，中国男乒第三次丢掉奥运会男单冠军。刘国梁作为中国男乒主教练，奥运首秀就以失败告终。值得一提的是，当时柳承敏的场外指导正是刘国梁在运动员时期的对手金泽洙。尽管此前，金泽洙多次不敌刘国梁，但是两人退役之后，都选择了当教练，而这一次，金泽洙指挥弟子战胜了刘国梁的得意弟子，也算是扳回了一城。
