1951年秋季，美国国务卿迪安·艾奇逊(DeanAcheson)建议科南特离开哈佛去德国做一年美国驻德国高级专员，主要探讨德国重整军备问题，这一工作预计在1952夏季结束。但由于个人问题，科南特没有接受这一邀请。之后他对这一决定又有些后悔。在接下来的一个月，他和妻子很想知道在1925年在德国的经历与现在的经历之间会存在什么样的联系，于是他们夫妻决定，如果再有这样的机会，将不再错过。之后几个月，原来驻德国高级专员卸任了，但以前驻奥地利专员唐纳利(Donnelly)接任了德国高级专员一职，看起来科南特是没机会了。
但不久之后，艾森豪威尔成为新总统，唐纳利退休，新总统和国务卿表示会找人接替唐纳利，但并没有表示要将科南特作为考虑的人选。尽管如此，科南特仍然抱着成为德国大使的一线希望。几个礼拜后，科南特被邀请与新总统共进午餐。席间，艾森豪威尔建议国务卿考虑科南特前往德国的事情。这个机会终于让科南特等到了，这次他没有错过。在1953年的一次学校会议上，科南特告诉校外委员会，在两周之前，校内委员会已经批准了科南特从1953年9月1日开始退休，在退休前的这段时间内，他可以离开学校，学校由一个委员会来负责管理。①
1953年科南特正式接受了美国对德国高级专员(UnitedStatesHighCommissionerforGermany)的职位。但他此时还不知道这一职务的任务以及他所面临一系列问题。他要面对充满敌意的德国人，要对付新政府，要运用外交手腕，作为高级专员还要负责一项庞大的建设计划，建立一套法院系统，并解决德国工业日益萎缩的困难，并且在德国可能面临人身安全以及政治迫害，此外还有许多随之而来的个人问题。
