La Mezquita de Al Aqsa fue construida por el califa musulmán Al-Walid 20 años después de erigirse la Cúpula de la Roca, en el año 711, en un extremo de la plataforma del Monte del Templo para identificar el conjunto como el lugar desde el cual Mahoma ascendió al cielo. Al-Aqsa significa "el punto más alejado", y hace referencia al milagroso vuelo nocturno de Mahoma en su caballo alado, Al-Buraq, desde La Meca hasta Jerusalén y regreso.
Durante los últimos 1300 años, este edificio ha sufrido numerosas alteraciones, algunas de ellas después de experimentar derrumbes parciales como consecuencia de terremotos y guerras. En el siglo XII, la mezquita fue tomada por los Caballeros Templarios, que la utilizaron como cuartel general en Israel. La llamaron Templén Salomonis (Templo de Salomón), y aún se observan elementos arquitectónicos de ese período en la fachada del edificio y en su lado oriental. Bajo el edificio, donde el rey Herodes construyó la ladera, los Cruzados crearon un establo para sus caballerías y denominaron al lugar los establos de Salomón, aunque no exista relación alguna entre ellos y el período del Primer Templo del rey Salomón.
La mezquita recuperó su función original cuando Saladnos tomó la ciudad en 1187, y desde entonces está bajo control musulmán. En la actualidad, su administración corre a cargo del Waqf, la autoridad musulmana que gestiona los lugares santos del Islam en Israel. La gran cúpula de la mezquita puede verse desde diversos puntos de la Ciudad Vieja, pero sólo los musulmanes pueden entrar a la sala de oración.