Tes yang berkualitas harus memiliki kemampuan untuk membedakan peserta tes yang memiliki kemampuan kognitif tinggi dan rendah. Oleh karena itu merancang sebuah tes harus mengacu pada teori dan prosedur yang tepat. Dengan pendekatan kuantitatif penelitian ini bertujuan untuk menganalisis kualitas butir soal PAI yang diujikan pada USBN Tahun Pelajaran 2013/2014. Data diperoleh melalui lembar jawab perserta didik kelas XII SMAN 1 Ungaran yang berjumlah 228 lembar. Hasil penelitian menunjukkan bahwa soal PAI paket A memiliki kualitas lebih baik dibanding paket B. Paket soal A dan B masing-masing hanya memiliki 4% butir dengan taraf kesukaran yang baik. Indeks daya pembeda yang baik hanya dicapai oleh 18% butir pada soal A dan 10% butir pada soal B. Hal ini berarti bahwa jika diujikan pada SMAN 1 Ungaran kualitas butir soal PAI masih perlu diperbaiki. Secara umum hasil ini belum merepresentasikan kaulitas butir soal PAI pada USBN tahun 2013/2014 karena data diperoleh hanya dari satu sekolah.