Родился Анатолий Аронов (Рыбаков – псевдоним) 1 (14) января 1911 года в селе Держановка Черниговской области в семье инженера. Отец — Наум Борисович Аронов, мать — Дина Абрамовна Рыбакова.
   В 1919 году семья переехала в Москву. Окончив 7 классов в Хвостовской гимназии, следующие 2 года учился в опытно-показательной школе-коммуне. По завершении образования устроился на работу грузчиком, а позже - водителем, на Дорогомиловский химический завод.
   В 1930 году поступил в Московский институт инженеров транспорта, но не смог его окончить. В 1933 году арестован и Особым совещанием коллегии ОГПУ осужден на 3 года ссылки по статье 58-10 (Контрреволюционная агитация и пропаганда). По окончании срока Рыбакову было запрещено жить в городах, в которых был введен паспортный режим, поэтому он постоянно переезжал. 
   В 1938-1941 гг. работал на должности главного инженера в Рязанском областном управлении автотранспорта. Незадолго до войны встретил свою первую жену - Анастасию Алексеевну Тысячникову, в октябре 1940 г. у них родился сын Александр. 
   Во время Второй мировой войны ушел служить в составе автомобильных частей. Принимал участие в штурме Берлина в звании гвардии инженер-майора 4-го Гвардейского стрелкового. Был отмечен орденами "Отечественной войны I и II степенем", "Дружбы народов" и "Трудового Красного Знамени". За отличие в борьбе с немецко-фашистскими оккупантами Рыбакову отменили судимость, а в 1960 был полностью реабилитирован. 
   После войны А. Рыбаков обращается к литературной деятельности. Пишет приключенческие повести для юношества. Известность пришла к писателю с "Кортиком" (1948.г), затем появились и другие книги, укрепившие его популярность: “Бронзовая птица”, трилогия “Приключения Кроша”. 
Первый роман, написанный Рыбаковым, "Водители" (1950), был посвящен людям, хорошо ему знакомым, и служит лучшим примером "производственной" прозы. Следующий роман "Екатерина Воронина" (1955), экранизированный в 1957, имел также большой успех. 
   Во втором браке с писательницей Натальей Давыдовой появился второй сын - Алексей Макушинский (1960 г.р.), взявший фамилию своей матери, по другим источникам - фамилию бабушки по материнской линии. Поэт, прозаик и эссеист, профессор университета в городе Майнц (Германия).
   В 1964 выходит роман «Лето в Сосняках».
  На основе произведений писателя снимается большое количество фильмов, в 1973 году он награжден Государственной премией РСФСР в области кинематографии им. братьев Васильевых. 
   В 1965 г. Рыбаков приступил к написанию своего главного романа «Дети Арбата». Журнал «Дружба народов» стал печатать роман в 1987 году. С выходом романа тираж журнала вырос со 150 тысяч до 1 200 тысяч экземпляров. Впоследствии Арбатскую трилогию завершили романы «Страх» и «Прах и пепел». 
В 1978 году увидел свет роман «Тяжёлый песок». Роман повествует о жизни еврейской семьи в 1910—1940-х годах в одном из многонациональных мест на севере Украины. Этот роман был экранизирован, премьера фильма состоялась в 2008 году. 
   В 1978 г. Анатолий Рыбаков женился в третий раз. Его женой стала Татьяна Марковна Винокурова-Рыбакова (в девичестве - Беленькая), с которой он прожил до конца своей жизни. Она скончалась в 2008 г. 
   В 1990-ее гг., после развала СССР, Анатолий Рыбаков, не приняв перемен произошедших в стране, уехал в США, но он не эмигрировал. Он приезжал в Россию каждый год на 4-5 месяцев, был в курсе всего, что здесь происходит, принимал участие в литературной и общественной жизни России. 
   В 1989-1991 гг. Анатолий Рыбаков возглавлял советский ПЕН-центр. В 1991 году стал секретарем правления Союза писателей СССР. Также был доктором философии Тель-Авивского университета (1991). 
   Анатолий Рыбаков умер 23 декабря 1998 года в Нью-Йорке. За полгода до этого он перенес операцию на сердце. Похоронен 6 января 1999 года в Москве на Ново-Кунцевском кладбище.