Tan Sri Dato' Seri Hj. Ab. Rashid memasuki Perkhidmatan Awam Malaysia pada tahun 1967 dan berkhidmat di beberapa jabatan dan kementerian. Di antara jawatan yang pernah beliau sandang adalah seperti berikut :-

1968 - 69 : Penolong Setiausaha Suruhanjaya Perkhidmatan Awam
1972 - 75 : Ketua Penolong Setiausaha, Jabatan Imigresen
1975 - 76 : Setiausaha, Majlis Perbandaran Melaka
1977 - 79 : Timbalan Ketua Pengarah Kerajaan Tempatan
1979 - 95 : Setiausaha Suruhanjaya Pilihan Raya
1995 - 97 : Timbalan Ketua Setiausaha Kementerian Pendidikan
2001 hingga sekarang : Pengerusi Suruhanjaya Pilihan Raya

Tan Sri Dato' Seri Hj. Ab. Rashid pernah menjadi Penasihat kepada Urus Setia Komanwel berkaitan dengan hal-hal pilihan raya.