Awalnya, bangunan ini tidak sepenuhnya digunakan sebagai tempat ibadah. Hanya bagian atas yang dijadikan langgar atau musala, sedangkan bagian bawah berfungsi sebagai penginapan bagi kolega dagang.
Karena dulu belum ada musala di atasnya, maka disebutlah Langgar Tinggi. "Di bawahnya digunakan sebagai tempat menginap para kolega dagang mereka," ujar Alwi, dikutip dari laman resmi Pemprov Jakarta.
Salah satu peninggalan bersejarah di dalam masjid adalah sebuah mimbar berusia sekitar 185 tahun. Diukir dengan aksara Arab dan dikirim dalam bentuk jadi sebagai sumbangan dari seorang Sultan di Pontianak, Kalimantan.
Masjid Langgar Tinggi berdiri di atas lahan seluas 390 meter persegi dengan bangunan utama seluas 200 meter persegi. Hingga kini, masjid ini tetap digunakan untuk salat lima waktu dan berbagai kegiatan keagamaan lainnya.
Lahan Masjid Langgar Tinggi berasal dari wakaf Syarifah Baba Kecil, sama seperti Masjid An Nawier yang juga berada di Jalan Pekojan. Karena itu, kedua masjid ini memiliki keterkaitan sejarah yang erat.