
Окончил Институт нефти и газа им. И. М. Губкина по специальности «прикладная математика» в 1986 году. Занимался исследованиями в области обработки больших объемов данных в Институте проблем управления (ИПУ) АН СССР. В 1989 основал компанию Comptek, занимал должность генерального директора до 2000 года. В этом же году открыл фирму «Аркадия» совместно с Аркадием Борковским.
В 1998 году в качестве главы комитета беспроводных сетей доступа Российской ассоциации документальной электросвязи (RANS.RU) Аркадий участвовал в процессе дерегулирования частот для операторов беспроводного доступа. В 1999 году он был одним из тех, кто повлиял на судьбу легализации IP-телефонии в России. В 1997 году Волож сделал первый шаг по созданию компании "Яндекс" — на 10 тысяч долларов были закуплены 3 сервера с жесткими дисками емкостью в 1 Гб, на которых было проиндексировано все содержимое Рунета. Итогом этих инвестиций стало попадание "Яндекса" в семерку наиболее популярных сайтов русскоязычного сегмента Интернета в 1999 году.
С 2000 года — генеральный директор компании "Яндекс". С 2007 года — заведующий кафедрой «Анализ данных» на факультете инноваций и высоких технологий МФТИ.
С 2011 года входит в рейтинг "200 богатейших бизнесменов России" журнала Forbes. В 2017 году занял в нем 85-е место с капиталом в 1,1 миллиарда долларов.