نأسست مدينة الرفاعي عام 1880 م وكانت قديماً ناحية صغبرةصغيرة جميلة تغفو على ضفاف [[نهر الغراف]] ، تسمى بمدينة ( الكرادي ) نسبة الى كنية اشهر تجارها في ذلك الزمن المرحوم الحاج (عباس صالح الكرادي ) والذي كان يمتهن تجارة الحبوب كالحنطةك[[الحنطة]] والشعيرو[[الشعير]] وتخزينها على جانبي نهر [[الغراف]] لغرض تجميعها وتصديرها خارج العراق .
وبعد تشكيل أول حكومية وطنية عراقية وتنصيب فيصل بن الشريف حسين ([[فيصل الاول]]) ملكا على العراق بسنوات فليلة وذلك في عام 1928م[[1928]]م تم نرقية هذه المدينة ورفع صفتها الادارية من ناحية الى قضاء ( بموجب الارادة الملكية المرقمة 77 في 20 مايس عام 1928 ) ، وعند زيارة رئيس الوزراء السابق المرحوم ياسين الهاشمي الى هذه المدينة في عام 1935 وبمقترح منه تم تغير اسمها من قضاء الكرادي الى الاسم الجديد ( قضاء الرفاعي ) تيمناً وتكريماً لأسم الامام والقطب الصوفي الكبير (السيد احمد الرفاعي ) الموجود ضريحه المقدس شرق هذه المدينة في منتصف الطريق العام الرابط بين مدينة الرفاعي ومدينة العمارة .
وتقع إلى الجنوب منها مدينة النصر التي اخذت هذا الاسم من الملك فيصل الأول بعد مروره خلالها بعد أن كانت تسمى الغازيه والسويج سابقا
