Selepas dari Brumbung, ia meneruskan belajar di pondok pesantren Lasem yang diasuh oleh KH Kholil dan KH. Ma'shum. Sekembalinya dari pesantren Lasem, pada tahun 1926 beliau berusaha mengembangkan pesantren Futuhiyyah dan pada tahun 1927 diserahi tanggung jawab mengelola pesantren di bawah pengawasan KH. Abdurrohman.
Usaha da'wah yang dilaksanakan oleh beliau lebih banyak yang berorientasi keluar, dalam arti lebih sering melakukan dak'wah keliling. Da'wah keliling yang beliau lakukan berbentuk masrokhiyah (seni teater, sandiwara) dengan musik rebana yang dipandu dengan tarian zipin dan pencak silat yang disisipi ceramah agama.
Beliau lebih terkenal sebagai sosok seorang pendekar yang alim, karena pada saat itu wilayah Mranggen lebih dikenal dengan kaum abangan, jadi da'wah dengan teater lebih menguntungkan.
Pada tahun 1927 ia dibantu oleh adiknya, KH Muslih, berusaha mendirikan madrasah yang kemudian diberi nama Futuhiyyah atas usulan adiknya. Namun madrasah yang baru berjalan satu tahun ini diminta NU untuk merealisasikan progam pendidikannya, tetapi perkembangan tersendat sendat dan akhirnya hilang. Selanjutnya tahun1929 beliau mendirikan madrasah lagi, namun tidak lama dibedol lagi oleh NU cabang Mranggen, dan nasibnya pun sama.
Sekitar tahun 1931, pimpinan diserahakan kepada KH. Muslih dan berhasil mendirikan madrasah tidak boleh dipindah atau dibedol. Setelah itu KH. Muslih pergi mondok lagi dan kepemimpinan pondok diserahkan lagi kepada KH. Usman dan madrasah diserahkan kepada KH Murodi beserta para guru.
Setelah KH Muslih pulang dari Termas sekitar tahun 1935 kepemimpinan pondok diserahkan kepadanya. Hal ini karena ia lebih memusatkan perhatiannya da’wah keliling dan NU cabang Mranggen, sedangkan KH. Murodi melanjutkan belajar di Makkah.
Disamping itu ia juga membuka pesatren khusus putri yang diberi nama An Nuriyyah, sampai akhir hayat beliau tetap membantu pengajaran di pondok Futuhiyyah meski ia sudah memiliki pesantren sendiri. Beliau wafat pada tahun 1967 dengan menorehkan berbagai kemajuan selama masa kepemimpinan beliau di Futuhiyyah. Kemajuan selama masa kepemimpinan KH Usman diantaranya penataan manajemen pesantren, penataan manajeman madrasah, dan pendidikan seni dan keterampilan.
Selain itu masih banyak kemajuan kemajuan dan peran sertanya dalam pendidikan pesantren atau dalam perjuangan meraih kemerdekaan.
