İstanbul'da Şubat 1871 tarihinde doğan İsmail Hakkı Eldem, Mülkiye Mektebi'nden mezun olduktan sonra 1891 yılında Hariciye Nezareti Şehbenderlik İşleri Kalemi'nde kariyerine başlamıştır. Hızla yükselen Eldem, çeşitli görevlerde bulunmuş ve II. Meşrutiyet sonrasında yurtdışında da diplomatik görevler üstlenmiştir.
Diplomatik görevlerinin ardından İstanbul'a dönen Eldem, Hariciyeden emekli olduktan sonra bir süre özel sektörde çalışmış ve İstanbul Belediyesi'ne bağlı bir şirketin devriyle ilgili çalışmalara katılmıştır. 13 Mart 1944'te İstanbul'da vefat eden Eldem, Zincirlikuyu Mezarlığı'na defnedilmiştir.
İsmail Hakkı Eldem'in özel hayatı da dikkat çekicidir. "Deli Corci" lakaplı İbrahim Edhem Paşa'nın torunu ve ünlü ressam Osman Hamdi Bey'in yeğeni Azize hanımla evlenmiş, bu evlilikten dört çocuğu olmuştur. Oğlu Sedad Hakkı Eldem, Cumhuriyet döneminin önde gelen mimarlarından biri olmuştur.
