康熙五十五年三月初二（公元1716年3月24日），袁枚降生在浙江钱塘一个家道中落的仕宦家庭。
袁枚的祖上也曾任过不小的官职，其高祖，即袁枚祖父的祖父袁槐眉曾任明朝侍御史，祖父的父亲袁茂英曾任布政使之职，只是到了袁枚的祖父袁锜这一代，由于种种原因，袁氏家族的官运渐渐不济，开始过上贫游四方的生活。袁枚的祖父袁锜、叔父袁鸿、父亲袁滨先后曾在湖北、广西、广东、云南、福建等地依人作幕府，以其微薄的收入，供养家小，到了袁滨时，家境尤为贫困。然而，袁家毕竟具有古代文人仕宦家庭的门风，也算得上书香门第。祖父袁锜曾有诗作刻行于世，叔父袁鸿也能作诗，只是因为去世时其子尚小，诗作多散失，没能传下来。这种家学给袁枚提供了一个良好的家庭环境，对袁枚日后的成长多少有一定的影响，袁枚小时就曾抄录过祖父的诗作，只是因为后来屡屡迁居都遗失了。
袁枚的母亲章氏，勤劳善良，在男人们都外出游幕的情况下，凭着自己勤劳的双手，做些缝缝补补的手工，苦苦支撑着这个家庭。袁枚幼年时，家境最为艰难，上有祖母、姑姑，下有袁枚兄妹，祖孙三代、一家妇孺的生活，全靠母亲一人来承担。父亲游幕他乡，因路途遥远，所得报酬时常不能及时寄到，面对嗷嗷待哺的子女们，母亲不时地伤心叹息，有时甚至不得不卖掉自己的一些首饰和衣物，换取食物，养家糊口。忆起当年的境况时，袁枚也曾有过“惭愧少年贫里过”的感叹。
袁枚就是出生在这样一个贫寒的家庭，但是，家虽贫寒却不乏温馨和爱意。袁枚天资聪慧，“幼有异禀”（《清史稿》卷四八五），颇得祖母、母亲和姑母的怜爱。使袁枚受益最深，对袁枚影响最大的还是他的姑母。姑母早年嫁给沈氏，三十一岁开始守寡，孀居娘家，除帮助母亲料理一些家务外，主动承担起抚养袁枚的义务，“寒则袭，痒则搔，朝赜而夕浴，皆为姑之求。”（《小仓山房文集》卷五《亡姑沈君夫人墓志铭》）姑母不仅在生活上给袁枚以悉心的照顾，尤为重要的是，她可称得上是袁枚的第一位启蒙教师。这位姑母具有丰富的文史知识，也会作诗，她经常挑选史书、笔记中一些通俗易懂的内容娓娓动听地讲给袁枚听；在袁枚讨厌读那些佶屈聱牙、艰涩难懂的古文时，姑母总是在一旁鼓励他并陪伴他一起来读，姑母还经常与他谈论古代的一些人物和故事。姑母对古人古事一些颇有见地的见解，对袁枚的思想产生了深刻影响。例如：对于“二十四孝”中的郭巨埋儿的故事，姑母就有不同看法，曾作诗道：“孝子虚传郭巨名，承欢不辨重与轻；无端枉杀娇儿命，有食徒伤老母情……”在姑母看来，郭巨为孝母而埋儿的行为是不近人情的，如此的观点与当时的封建礼教相去甚远。姑母这种思想在袁枚幼小的心灵里打下深深的烙印，一直被封建孝道所推崇的郭巨，顿时在袁枚心目中失去了光彩。他十四岁时所作的《郭巨论》一文就是姑母这一思想的进一步阐发。
康熙六十一年（公元1722年），袁枚七岁，举家迁居钱塘之葵巷。这一年，袁枚从师史玉瓒学习《论语》和《大学》，开始接受正式教育。塾师史玉瓒对自己的学生要求非常严格，天真活泼的袁枚还不大习惯这种私塾生活，因此常常惧怕因背书不熟而遭老师的责怪，有时甚至因难耐严格的管束而企盼着能有客人拜访老师。
一次，老师外出，老师的好友张自南抱了一册书登门拜访，见史先生不在，便留下一张纸条，称因生活拮据，手头急等钱用，愿将这套共四本的《古诗选》以很少的银两卖给史先生。史先生看后十分同情张先生，遂起恻隐之心，便说：
“张先生以这么少的银子卖书，而且苦苦哀求，实在让人于心不忍。快拿钱给他，至于书，留不留都行。”袁枚听了，急忙拿书来翻阅，没想到这套《古诗选》将袁枚深深地吸引住了，他如获珍宝，爱不释手，于是书便被袁枚留了下来。在很长一段时间里，这套《古诗选》成了袁枚的好朋友，他常常带在身边吟诵，并偷偷地模仿着作诗。显然，这套《古诗选》令袁枚耳目一新，将他带入一个崭新的天地。
也许，正是这套偶然所得的《古诗选》为袁枚打开诗歌殿堂的大门，激发了袁枚那一发不可收拾的诗歌创作热情。从此，袁枚对诗歌产生了特殊的感情，并开始接触更多的古代诗作，特别是《诗经》、《离骚》等优秀作品，成了他最喜欢的读物，与此同时他也喜欢上了词赋。后来他回忆道：“九岁读《离骚》，嗜古有余慕。学为四子文，聪明逐陈腐。犹复篝残火，偷习词与赋。”（《小仓山房诗集补遗》卷一）足见他当时就对诗词产生了浓厚的兴趣，而对八股时文已经开始厌恶了。在古代诗歌的熏陶下，他那诗歌创作的欲望已难以抑制，写诗作文几乎要取代他童年的游戏，他的这种热情也感染了他的同年学友，他们经常在一起作诗，有时各自写好了藏在袖中，冒着雨躲起来偷偷欣赏。九岁这年，他和同学一起游览杭州吴山，并学着作了一首五律诗，这是他最早的诗作了，直到后来他重游吴山触景生情，忆及当年诗中“眼前两三级，足下万千家”的诗句时，仍“觉童语终是真语”，感叹不已。
幼年的袁枚，深深为书籍所迷恋，可以说嗜书如命，但因家境不佳，无钱买书，每每经过书肆，他都驻足流连，不肯离去，特别是看到十分喜爱的好书不能拥为己有，不免怅然若失，怏怏而归；有时好书竟在梦中买回。这种因家贫而买不起书的境况，一直伴随着他度过少年时代。后来他在《对书叹》一诗中这样写道：
我年十二三，爱书如爱命；
每过书肆中，两脚先立定。
苦无买书钱，梦中犹买归。
贫寒的家境使得他只能借书来读，有时别人因他年少不愿借书给他，或要收取银两作为押金，让他饱尝了借书的艰辛。借书之不易更增强了他对书籍的珍爱。正因为有过这样借书阅读的经历，他才会对借书有一番独到的见解：“书非借不能读也。子不闻藏书者乎？《七略》、《四库》，天子之书，然天子读书者有几？汗牛塞屋，富贵家之书，然富贵人读书者有几？其他祖父积子孙弃者，无论焉。非独书为然，天下物皆然。非夫人之物，而强假焉，必虑人欲取，而惴惴焉，摩玩之不已，曰：今日存明日去，吾不得而见之矣。若业为吾所有，必高束焉，庋藏焉，曰：姑俟异日观云尔。”（《小仓山房文集》卷二十二《黄生借书说》）的确，当时的袁枚，凡有好书，每见必求，每得必读，吟诵于口，烂熟于心。对于一些优秀之作，除精心阅读，仔细琢磨外，生怕书还之后其内容也随之而去，所以“必加摘录，分门别类，以补健忘。”（《清稗类·文学》）也许，正是由于袁枚对书籍痴迷到极点，当他借来《文选》读到其中的《长门赋》时，竟恍恍惚惚地觉着似曾相识，于是发出“‘读书是前世事’的谚语并非妄谈”的感叹。
功夫不负有心人。刻苦的学习，使袁枚十二岁便考取了秀才，与老师史玉瓒同入县学。后来，他在诗中描述当时的情状：
忆昔袁丝年十二，簪笔学趋童子试。
门前已送好音来，阶下还骑竹马戏。
……
一番正试两番覆，道路争观人簇簇。
喧传泮水出芹芽，艳说蒙童充棫朴。
……
并行敢逐先生后，倚宠仍眠大母怀。
诸姑伯姊欣欣到，替我梳头向我笑。
看着青衿试短长，劝拖锦带休颠倒。
（《小仓山房诗集》卷三十二《重赴泮宫诗》）
可见当时的袁枚，虽已成为一乡瞩目的秀才，但仍是一个天真烂漫、稚气犹存的孩童，无比兴奋之情，溢于言表。特别是与他的老师一起考取，转眼工夫，昔日的先生成了同窗学友，这实在让袁枚喜不自禁。
小小年纪便考取秀才，这无疑增强了袁枚求学上进的自信心，而加倍的努力更使他的学业取得了很大的进步。从十三岁到十九岁这短短几年的时间里，袁枚几乎一年一个台阶地在封建科举的路途上向前迈进，而每上一个台阶似乎都有“贵人”扶持和提携。这段时间给袁枚印象最深的还是杭州敷文书院的杨绳武先生和浙江督学帅兰皋。雍正十二年（公元1734年），十九岁的袁枚步入杭州敷文书院学习，受业于杨绳武先生。这位杨先生知识渊博，注重实学，对袁枚的思想和才华很是赏识。袁枚将自己所作的《郭巨论》、《高祖论》拿去求教，杨绳武读罢为之欣喜，与他半开玩笑地说：“文如项羽用兵，所过无不残灭。汝未弱冠，英勇乃尔。”（方濬师《随园先生年谱》）一次，当时的浙江督学帅兰皋想考考袁枚的古文基础，便问袁枚：“你知道‘国马’、‘公马’作何解释？”这是两个较为冷僻的典故，很少有人知晓。袁枚如实答道：“二者都出自《国语》，至于作何解释，我确实不知。”督学惊喜道：“像你这般年纪，知道二马的出处就足矣，何必再解释呢！”接着他又问“除‘国马’、‘公马’外，还有‘父马’，你可知道？”袁枚答道：“出自《史记·平准书》。”督学又问：“你能对吗？”袁枚脱口而出：“可对以‘母牛’，出自《易经·说卦传》。”这一对，不仅对的工稳妥帖，而且还有出处。督学听罢，大喜。袁枚深厚的文史功底，敏捷的才思，不得不让这位博学资深的督学刮目相看，于是他即给予袁枚拨至高等廪生的奖赏。老师的称赞，督学的奖掖，使袁枚受到极大的鼓舞，因而更加发愤读书写作。从此，袁枚对诗文阅读和写作的热情与日俱增，而对内容空泛、形式呆板的八股时文却日益厌恶，虽然为应考有时不得已而为之，“而心终不以为然”（《小仓山房文集》卷三十一《与俌之秀才第二书》）。
袁枚的青少年时代大半是在刻苦学习、孜孜求索中度过的。的确，他拥有天赋和机遇，但他的成长，从根本上讲还是受益于良好的家庭环境和他本人的勤奋努力。这一时期，尽管功名利禄让他在科举的路上奔跑，可文学创作的才华已在他身上初露锋芒，一条宽阔而漫长的文学之路已在他眼前展现，且深深地吸引着他，也正是从这时起，他有意无意地将一只脚跨入金碧辉煌的文学殿堂，开始了一生中最初的诗文创作，写下他诗文集中起始的篇章。