1949 年6 月，大平受命任大藏大臣池田勇人的秘书官，他把池田的成功失败、毁誉褒贬责任系于自己一身，尽心尽力，埋头苦干，成了池田不可缺少的助手。作为大藏大臣的秘书官，他耳闻目睹政界和政治家的运作情况，阅历日渐丰富，工作起来亦得心应手。据当时池田的一位亲信说：“大平最善于在池田和大藏省、池田和政界、池田和财界之间周旋。”
结束三年秘书生涯，大平对自己的前途作了充分的、谨慎的思考。考虑到官僚的前途暗淡，为了“让自己的生命充分燃烧”，他毅然决定出马从政。1951 年夏，曾经当过池田秘书的登板重次郎记得有这么一件事：“在池田大藏大臣时代，有一天池田、大平、宫泽和我四人曾去柳桥饮酒，酒后又泛舟隅田川。那时大平突然说：‘大臣，我也考虑当个政治家，您看怎样?’池田立即回答说，‘那是好事嘛，你的性格倒颇适合政治家。但是你能搞到多少钱呢?’大平比划着说，‘有这么多。’池田就说，‘那样的话，剩下的由俺包了。’”
池田为拥有自己的嫡系议员，极力支持大平从政，并让他于1951 年8 月赴美出差3 个月，以增长见识。大平在保留藏相秘书官的情况下，提前参加第一次竞选议员活动。在大平家族、家乡父老乡亲、同学等的支持下，大平竞选成功。
第一次当选为议员的大平于1953 年11 月出任农林常任委员。大平从首次当选议员以来，3 年多时间经受到3 次竞选的洗礼。其间出任过自由党干事、青年部副部长，但毕竟是无足轻重的后生，在党内只能做些地方上的事。
1955 年12 月，刚组阁的自民党请大平担任政务调查会内阁部会长。内阁部会是负责综合总理府管辖的各种问题的党务机构。大平有意把自己逐渐构筑成“政策通”，成为自民党内池田派的骨干成员之一。1959 年6 月，年届50 的大平当上了众院文教委员长，暗地里巩固了作为池田第一心腹人物的地位。为池田在筹措政治资金，竞选，调解派系关系等党务工作中效尽犬马之劳，逐渐地，传播媒介或党内其他各派都知道了大平的存在，池田也不无得意的赞赏说：“大平为人做事，可用诚实二字概括”。
1960 年，大平为池田竞选自民党总裁立下了汗马功劳。池田内阁成立后，他当上了内阁官房长官，内政、外交诸事都要管到，成了政府的眼、耳、头脑和嘴巴。他协助池田处理了许多内政外交问题，特别是他建议池田采取：宽容与忍耐：的政治策略，为池田内阁少受政治风波的冲击筑起了一道防波提，从而成为享有实行经济高速增长的长期政权。大平的见识与才干，不仅使得池田满足，许多不同派系的大人物也深为叹服，前首相岸介信就发出过这样一番感慨“我派如有大平那样的人物，岸内阁一定可用在延续两三年。”
此后，大平仕途一帆风顺，相继担任池田内阁的秘书官和外务大臣。但好运不长，大平同池田之间出现了芥蒂。1964年春，池田首相两届任期快到之时，他还决心继续争取第三次连任总裁，以图最终完成他的“国民收入倍增”的目标。但池田的亲信中许多人却不以为然，大平正芳也是其中之一，他认为池田能当上首相，离不开佐藤派的支持。佐藤和池田是第五高中同学，也都是吉田茂的得意门生。
吉田原有让池田干两届就让佐藤接任之意。因此池田周围不少人对他连选第三任总裁持消极态度，大平也曾对别人流露出这种意思：“首相只想强行干下去，真叫人为难。”大平的这种消极态度使池田对他产生了猜忌。大平因公务繁忙不常去池田家拜访，这时有谣言说大平正芳想另立派系，其根据是大平以个人名义向池田派的“宏池会”所属年轻国会议员提供了活动经费。池田听到后把大平叫去追问：“你是不是在搞自己的派阀？”大平听后震惊地申辩：“决无此事！我只不过替你给了本派议员一些钱，以往不是有先例吗？您不是对我说过，用不着每件事都向您请示吗？”池田忿怒地说：“不许这样干！”于是，关系一直很亲密的池田与大平之间出现了裂痕。一段时间甚至严重到大平不能进入池田住宅。
这时自民党内佐藤与河野的对立仍在继续，大平做了许多工作之后，这种对立虽有所缓和，但并未结束。河野为了牵制佐藤，鼓动池田继续出马第三次竞选总裁。5月18日，佐藤要求与池田会谈，但被拒绝。池田己下定决心竞选第三任总裁。大平元奈，也只得为池田的竞选继续效力，向财界募集竞选经费。
池田当选后立即进行内阁和党领导的改组，结果池田的几位最亲信的“秘书官”大平正芳、黑金泰美和宫泽喜一都未人阁。在党的领导方面，干事长前尾繁三郎因健康原因辞职。干事长一职非常关键，颇费考虑。大平本希望得到这一职位，但前尾认为大平还须再经锻炼，于是向池田推荐了政调会长三木武夫担任干事长，大平被任命力第一副干事长，协助干事长工作。这次任命是大平在一直很顺利的宦途上遭受的第一次挫折，这对他以后的政治生涯影响很大。一直平步青云的大平从此在政治上步入了漫长的寒冬时代。大概这次又像中国成语所说：“祸不单行，福无双至”。内阁改组后不到20天，他心爱的长子大平正树不幸去世！这一打击使大平简直悲痛到了极点。