Kantor Perpustakaan Umum dan Arsip Daerah Kota Madiun dibentuk berdasarkan peraturan Daerah Kota Madiun Nomor 7 tahun 2000 tentang Pembentukan Organisasi dan Tata Kerja Lembaga Teknis Daerah yang berbentuk Kantor dan Keputusan Walikota Madiun nomor 15 tahun 2001 Tentang Tugas Jabatan pada Kantor Perpustakaan Umum dan Arsip Daerah. Dalam perkembangannya, berdasarkan peraturan Pemerintah Nomor 41 Tahun 2007 tentang Struktur Organisasi Perangkat Daerah, maka kantor Perpustakaan Umum dan Arsip Daerah diubah dengan Peraturan Daerah Kota Madiun nomor 5 Tahun 2008 tentang Organisasi dan Tata Kerja Inspektorat, Badan Perencanaan Pembangunan Daerah dan Lembaga Teknis Daerah. Pada tahun 2013, Peraturan Daerah Kota Madiun Nomor 5 Tahun 2008 tentang Organisasi dan Tata Kerja Inspektorat, Badan Pembangunan Daerah dan Lembaga Teknis Daerah diubah menjadi Peraturan Daerah Kota Madiun Nomor 4 Tahun 2013 tentang Perubahan Atas Peraturan Daerah Kota Madiun Nomor 5 Tahun 2008 tentang Organisasi dan Tata Kerja Inspektorat, Badan Perencanaan Pembangunan Daerah dan Lembaga Teknis Daerah.

Pada tahun 2016,  Kantor Perpustakaan Umum dan Arsip Daerah berubah menjadi Dinas Perpustakaan dan Kearsipan Kota Madiun, berdasarkan Peraturan Daerah Kota Madiun Nomor 3 tahun 2016 tentang Organisasi dan Tata Kerja Inspektorat, Badan Perencanaan Pembangunan Daerah dan Lembaga Teknis Daerah dan Peraturan Walikota Madiun Nomor 46 Tahun 2016 tentang Kedudukan, Susunan Organisasi, Rincian Tugas dan Fungsi serta Tata Kerja Dinas Perpustakaan dan Kearsipan Kota Madiun.