吴觉农的父亲郑忠孝原籍安徽，因贫困而入赘于吴家。吴觉农7岁入塾，学名荣堂，后入巽水小学和县立高等小学，17岁浙江省甲种农业专科学校，在那里立下了为中国茶业奋斗的宏愿，因矢志于振兴农业，更名觉农。毕业后留校任教。1919年考取官费留学日本，为中国第一位去国外攻读茶叶的学生。在日本农林水产省静冈县“牧之原”国立茶叶试验场专修茶叶，收集了大量有关各国茶叶生产、制作、贸易的材料，撰写了《茶叶原产地考》、《中国茶业改革方准》等论文，更是系统地论述了中国茶业的发展之路。1922年回国，这年他发表了《中国的农民问题》，影响很大，成为毛泽东主办的广州农民运动讲习所采用的培训教材。1923年在乡人王佐、胡愈之等的帮助下在上虞岭南泰岳寺办起了茶场，并从日本引进制茶机械。他在后来为《上虞市志》写序时回忆道：“我与几位同仁在上虞与嵊县交界处创办茶场和茶叶实验学校，计划汲取国外先进技术，搞机械制茶，改变我国茶业落后状况。此地是海拔……在政治腐败、社会黑暗的旧中国，要办成一件利国利民之事谈何容易！茶场终因得不到有关方面支持，资金不足，加之缺乏经验而失败。”1928年任上海园林试验场场长，次年任浙江省建设厅合作事业管理室主任，1931年出任上海商品检验局技正及茶叶检验处处长，这是他实现振兴中国的开端，他在商检局的7年时间里编制了中国第一部出口茶叶检验标准。1935年与人合著了《中国茶叶复兴计划》，提出创办国家茶叶公司的构想。后又兼任浙、皖、赣等省茶叶改良场场长。1933年与陈翰笙、薛暮桥、孙冶方等，发起组织中国农村经济研究会并任常务理事。1934～1935年赴印度、锡兰、印尼、日本、英国、法国、苏联等国考察茶叶市场情况。抗战时在武汉、重庆任贸易委员会专员，为加强茶叶出口贸易支持抗战，提出茶叶统购统销，促动政府颁发了《管理全国茶叶贸易办法大纲》，从此改变了茶叶由各地茶商、茶栈和洋行层层盘剥的实际，为此中国的茶业生产不但未因战争而受到影响，而且还有较大的增加，其中皖、浙二省的绿茶出口额增加了10万箱，茶价提高了35%，祁门红茶增加了20%，茶价提高了58%，宁红茶价提高了63%。中时创办了中国第一个高等学校茶叶专业——复旦大学农学院茶叶系，创办了中国第一个茶叶研究所。1947年创办之江机械制茶厂，任董事长。

1949年出席了开国大典，任农业部副部长兼中国茶叶学会理事长、名誉理事长，中国茶叶公司总经理。历任当选为第一、二、三、四届全国政协委员，第一、二、三、四届民建中央常委。在“三反五反运动”和“文化大革命”中受到冲击，多年积累的茶学资料更被红卫兵付之一炬。

1979年开始撰写他准备了几十年的茶学巨著——《茶经述评》，1987年90岁时出版，陆定一在序中直称其为“当代茶圣”。其主要作品辑入《吴觉农选集》。

死后葬于上虞县龙山南麓。