Филолог, специалист по истории русского языка и древнерусской литературы, диалектолог. Доктор наук (1894), академик (1899).
Окончил историко-филологический факультет Императорского Московского университета (1887).
После смерти Я. К. Грота А. А. Шахматов в 1895 г. был назначен главным редактором академического «Словаря русского языка» и занимал эту должность до своей смерти в 1920 г., при нем вышло 18 выпусков словаря на буквы Е, Ж, З, К и Л. А. А. Шахматов заменил концепцию нормативно-стилистического словаря, созданную Я. К. Гротом, на историко-тезаурусную, более соответствующую духу времени и лексикографическим тенденциям в Европе того периода. Таким образом, с буквы Е начатый Я. К. Гротом словарь превратился из прескриптивного в дескриптивный: теперь он должен был описывать не только литературный, но и национальный язык вообще, со всеми его диалектами, начиная с XVIII в., с опорой на большое количество иллюстративного материала. Основные положения концепции А. А. Шахматова содержатся в «Записке» о «Словаре русского языка» (1895) и в ответе на записку И. Х. Пахмана (1899), а также в предисловии к I выпуску II тома Е–Железный (1897).
После смерти А. А. Шахматова издание словаря по данной концепции с незначительными изменениями продолжалось при следующих главных редакторах В. М. Истрине и Е. Ф. Карском. С 1932 г. началось издание нового академического «Словаря русского языка» под ред. Н. С. Державина, адаптировавшего концепцию А. А. Шахматова и, таким образом, повлиявшего на методологические принципы будущего БАС-1.