Eyüp Şer’i Mahkemesi Başkâtibi Ebûbekir Efendi’nin oğlu. İlk derslerini Zekâî Dede’den aldı. Daha sonra besteci Eyyubî Mehmed Bey’den aldığı derslerle müzik beğenisini ve bilgisini ilerletti. Mehmed Bey’in yardımıyla Bab-ı Seraskeriye’ye (1844) memur olarak girdi. Bir süre Mehmed Bey’in Muzika-yı Hümayundaki derslerine konuk olarak devam etti. Sesinin güzelliğini duyan Sultan Abdülmecid, kendisini Mızıka-yı Hümayuna aldı. Burada, sarayın müzik öğretmeni Haşim Bey’den dersler aldı.
 
Sultan Abdülmecid tarafından mabeynci ve cari­yelerin müzik öğretmeni olarak görevlendirildi.1871’de Saraydan ayrılarak, Şura-yı Devlet’te, Beykoz Aşar Müdürlüğünde beş yıl memur olarak çalıştı. Osmanlı-Rus savaşı (93 Harbi) sona erince Abdülhamid tarafından sarayda, Mızıka-yı Hümayunda dördüncü kez görevlendirilerek, kendisine kolağası rütbesi verildi. Arif Bey, ölümüne kadar Mızıka-yı Hümayundaki derslerine devam etti. Kabri Yahya Efendi Dergâhı mezarlığındadır.
 
Türk müziğinin en büyük bestecilerinden olan Hacı Arif Bey, şarkı formuna yepyeni bir kimlik kazandırdı. Şarkı formlarının kesin kurallara bağlanması, ilk kez onun eserleriyle gerçekleşti ve şarkı türü kesin biçimini aldı. Sekiz zamanlı üç vuruşlu müsemmen usûlünü buldu. Kürdilihicazkâr makamını oluşturdu.

Arif Bey’le başlayan musiki ekolüne Romantik Türk Musikisi adı verildi. Şevki Bey, Levon Hancıyan, Zati Arca gibi öğrenciler yetiştirdi. Bestelediği bine yakın eserden, günümüze notalarıyla 337 parçası kaldı. Bunların 327’si şarkıdır. Diğer on eserinin altısı ilâhi, biri tevşih, biri durak, biri beste, biri de yürük semaidir.

Abdülmecid tarafından 4. Mecid, İran Şahı Nasıreddin tarafından “Şir ü Hûrşit” nişanlarıyla ödüllendirilen Arif Beyin, Mecmû’a-i Ârifi (1873) adlı güfte mecmuasında, ellinin üzerinde makamdan, bin kadar güfte arasında kendi güfteleri de bulunmaktadır.