Родился 22 января 1904 года в г. Льгов, Курская губерния в семье учителей — Петра Исидоровича Голикова (1879—1927 гг.) и Натальи Аркадьевны Сальковой (1884—1924 гг.), дворянки. В 1912 году П. И. Голиков получил назначение в Арзамас. Там Аркадий Голиков и жил вместе со своей семьёй до 1918 года.
В Первую мировую войну отца забрали на фронт. Аркадий, тогда ещё мальчишка, пытался убежать на войну. Попытка не удалась: его задержали и вернули домой.
В 1918 году, когда ему было 14 лет, он был принят в коммунистическую партию РКП(б) в качестве кандидата. В конце декабря 1918 года был зачислен в Красную армию, служил адъютантом Е. И. Ефимова, начальника обороны и охраны всех железных дорог Республики.
С марта 1919 года обучался на 7 Московских пехотных курсах подготовки командного состава РККА, после расформирования — на 6 Киевских командных курсах имени Подвойского. В 1920 году в марте стал командиром 4 роты 303 полка 37 Кубанской дивизии.