Форт был построен в качестве резиденции правителей Великих Моголов. Его строительство было начато в 1565 г. Акбаром Великим, который перенёс столицу из Дели в Агру. Преемники Акбара Великого, прежде всего Шах-Джахан, расширили форт в начале XVII века. В 1648 столица была перенесена обратно в Дели и форт утратил своё значение. Комплекс имеет форму полумесяца и обнесён стеной высотой 21 м. Большинство форта построены из красного песчаника, который и дал форту его название. Внутри находятся представительные дворцы, несколько мечетей и сады.
