ODTÜ Mühendislik Fakültesi'nden mezun olan Dinçer, siyasi kariyerine Cumhuriyet Halk Partisi'nden Ankara Belediye Başkanı olarak başlamıştır.
Bu görevini 12 Eylül askeri darbesine kadar sürdürmüş ve aynı zamanda Türkiye Belediyeler Birliği ile İslam Ülkeleri Başkentler Birliği'nin de kurucu başkanlığını yapmıştır.
Siyasi yaşamında önemli bir yere sahip olan Dinçer, 19. ve 20. dönemlerde sırasıyla SHP ve CHP'den Ankara milletvekili olarak seçilmiştir.
Ayrıca 22. dönemde CHP'den Bursa milletvekili olarak parlamentoya girmiş ve bu dönemde TBMM Başkanvekilliği yapmıştır. 52. hükümet döneminde ise Devlet Bakanlığı görevinde bulunmuştur.
Uzun süredir lenf kanseri tedavisi gören Ali Dinçer, 18 Nisan 2007 tarihinde vefat etmiştir. Türkiye Büyük Millet Meclisi ve Kocatepe Camii'nde düzenlenen törenlerin ardından cenazesi Karşıyaka Mezarlığı'nda defnedilmiştir.
