Dia merupakan putra dari Syarifah Nur bin Sayyid Muhsin dan Sayyid Ali bin Hasyim.
Pendidikannya dimulai dari bimbingan sang ayah, kemudian dilanjutkan di Madrasah Salafiah di tempat tinggalnya yang juga diasuh oleh keluarga dan kerabatnya.
Beberapa guru Habib Luthfi bin Yahya di tempat tersebut antara lain:
- Al Alim al ‘Alamah Sayid Ahmad bin ‘Ali bin Al Alamah al Qutb As Sayid ‘Ahmad bin Abdullah bin Thalib al Athas
- Sayid al Habib al ‘Alim Husain bin Sayid Hasyim bin Sayid Umar bin Sayid Thaha bin Yahya (paman beliau sendiri)
- Sayid al ‘Alim Abu Bakar bin Abdullah bin ‘Alawi bin Abdullah bin Muhammad al ‘Athas Bâ ‘Alawi
- Sayid ‘Al Alim Muhammad bin Husain bin Ahmad bin Abdullah bin Thalib al ‘Athas Bâ ‘Alawi
Selanjutnya, Habib Luthfi melanjutkan pendidikannya di berbagai tempat baik di dalam negeri maupun luar negeri.
Beliau juga berguru pada KH Abdul Malik bin Ilyas (Mbah Malik), Purwokerto.
Habib Luthfi merupakan seorang suami dari Syarifah Salma binti Hasyim.
Dari pernikahannya itu, ia dikaruniai lima orang anak, yakni Syarif Muhammad Bahauddin, Syarifah Zaenab, Syarifah Fathimah, Syarifah Ummi Hanik, dan Syarif Husain.
Selain karena keilmuannya, Habib Luthfi juga dikenal dengan dakwahnya yang lemah lembut.
Belum lama, mantan preman Jakarta, Hercules datang ke pelukan Habib Luthfi yang kemudian mengangkatnya sebagai adik angkat.