Claude Opus 4.5 Pecahkan Rekor Tes Rekrutmen Insinyur Manusia

Anthropic menggunakan tes rekrutmen internal tersebut sebagai salah satu tolok ukur kemampuan teknis calon performance engineer. Model-model Claude juga diuji menggunakan soal yang sama untuk mengetahui seberapa jauh perkembangan kemampuan AI dalam menyelesaikan pekerjaan rekayasa perangkat lunak.

Dalam pengujian terhadap Claude Opus 4.5, model tersebut berhasil melampaui skor tertinggi yang pernah dicapai kandidat manusia dalam batas waktu dua jam. Anthropic menyebut pencapaian tersebut sebagai indikasi penting mengenai meningkatnya kemampuan AI dalam pekerjaan teknis.

Namun, hasil tersebut perlu dibaca secara proporsional. Tes hanya mengukur bagian tertentu dari kompetensi seorang insinyur, bukan keseluruhan kemampuan profesional seperti komunikasi, kolaborasi, kepemimpinan, pengalaman organisasi, atau intuisi yang terbentuk melalui pengalaman kerja.

Tes yang digunakan Anthropic berfokus pada optimasi kode untuk sebuah mesin akselerator yang disimulasikan. Kandidat harus mencari cara untuk meningkatkan efisiensi program dengan mengeksplorasi struktur masalah dan melakukan berbagai optimasi.

Menurut Anthropic, ujian tersebut awalnya menggunakan batas waktu empat jam. Setelah Claude Opus 4 mulai mengungguli sebagian besar kandidat manusia, perusahaan mengubah desainnya menjadi dua jam dan membuat persoalannya lebih menekankan kemampuan menemukan optimasi yang cerdas.

Perubahan tersebut ternyata hanya bertahan sementara. Ketika Claude Opus 4.5 diuji, model tersebut kembali menunjukkan kemampuan yang membuat tes lama kehilangan daya pembeda antara kandidat terbaik dan AI.

Fenomena tersebut menciptakan persoalan baru bagi perusahaan teknologi. Tes rekrutmen yang sebelumnya dirancang untuk membedakan kemampuan kandidat kini juga harus mempertimbangkan kemampuan AI yang dapat membantu atau bahkan mengerjakan sebagian besar tugas teknis.

Anthropic mencatat bahwa lebih dari 1.000 kandidat telah mengerjakan versi tes performance engineering tersebut sejak digunakan. Tes itu bahkan membantu perusahaan merekrut sejumlah engineer yang kemudian bekerja pada pengembangan infrastruktur komputasi dan model Claude.

Masalahnya, kemampuan model berkembang lebih cepat daripada siklus perubahan instrumen evaluasi. Ketika sebuah tes berhasil mengukur kemampuan manusia secara efektif, model AI terbaru dapat membuat soal yang sama menjadi jauh lebih mudah.

Dalam pengujian Claude Opus 4.5, model tidak sekadar menghasilkan potongan kode secara instan. Claude Code digunakan untuk mengerjakan persoalan secara bertahap, mulai dari mengidentifikasi hambatan performa hingga melakukan optimasi dan debugging.

Anthropic menjelaskan bahwa Claude Opus 4.5 pada awalnya menghadapi hambatan yang juga sering ditemukan manusia. Setelah diberi informasi mengenai capaian yang mungkin diraih, model mampu menemukan pendekatan baru, kemudian melakukan penyesuaian dan optimasi lebih lanjut.

Pengujian dengan test-time compute juga menunjukkan bahwa performa model dapat terus meningkat ketika diberikan kesempatan melakukan lebih banyak proses komputasi. Dalam salah satu pengujian, Claude Opus 4.5 mencapai 1.579 clock cycles setelah dua jam, kemudian mencapai 1.487 cycles setelah 11,5 jam.

Pencapaian Claude Opus 4.5 tidak berarti pekerjaan software engineer langsung dapat sepenuhnya digantikan AI. Justru, hasil tersebut memperlihatkan bahwa definisi pekerjaan teknis sedang mengalami perubahan.

Kemampuan AI yang semakin kuat membuat tugas seperti menulis kode, mengoptimalkan algoritma, menemukan bug, dan melakukan eksperimen teknis dapat semakin banyak dibantu oleh mesin. Peran manusia berpotensi bergeser ke persoalan yang membutuhkan penentuan tujuan, evaluasi hasil, pemahaman konteks, komunikasi, dan pengambilan keputusan.

Perubahan tersebut juga memengaruhi dunia pendidikan. Mahasiswa dan calon engineer tidak cukup hanya menguasai sintaks pemrograman. Mereka perlu memahami konsep komputasi, algoritma, arsitektur sistem, serta mampu memeriksa dan mempertanggungjawabkan hasil yang diberikan AI.

Kasus Anthropic memberikan pelajaran penting bagi perusahaan yang masih mengandalkan tes teknis konvensional. Ketika AI mampu menyelesaikan soal dengan performa yang melampaui kandidat manusia, perusahaan perlu mengukur kompetensi yang lebih sulit diotomatisasi.

Anthropic sendiri akhirnya mengembangkan versi baru tes yang lebih tahan terhadap bantuan AI. Versi tersebut menggunakan sejumlah persoalan independen dan lingkungan pemrograman yang sengaja dibuat untuk menguji kemampuan menghadapi pekerjaan baru, bukan sekadar menyelesaikan pola persoalan yang sudah dikenal.

Perubahan ini menunjukkan bahwa kompetisi bukan lagi hanya antara manusia dan AI. Perusahaan juga menghadapi perlombaan untuk menciptakan sistem evaluasi yang mampu membedakan kemampuan manusia, kemampuan menggunakan AI, dan kemampuan AI itu sendiri.

Rekor Claude Opus 4.5 dalam tes rekrutmen Anthropic menjadi salah satu gambaran konkret mengenai cepatnya perkembangan AI dalam pekerjaan teknis. Dalam batas waktu dua jam, model tersebut berhasil mencatat skor di atas kandidat manusia terbaik yang pernah mengikuti tes tersebut.

Meski demikian, hasil itu tidak dapat diterjemahkan sebagai bukti bahwa AI telah menggantikan seluruh kemampuan seorang insinyur. Tes hanya mengukur aspek tertentu dari pekerjaan. Pelajaran terbesarnya justru terletak pada perubahan kompetensi: manusia semakin perlu menguasai kemampuan konseptual, penilaian, kreativitas, komunikasi, dan kemampuan bekerja bersama AI.

FAQ

1. Apa yang diuji dalam tes Claude Opus 4.5? Tes menguji kemampuan teknis dan pengambilan keputusan melalui persoalan optimasi perangkat lunak dalam batas waktu dua jam.
2. Apakah Claude Opus 4.5 mengalahkan semua kemampuan insinyur manusia? Tidak. Model mengungguli kandidat manusia pada tes tertentu, sementara kemampuan seperti komunikasi, kolaborasi, dan pengalaman profesional tidak sepenuhnya diukur.
3. Mengapa Anthropic mengubah tes rekrutmen mereka? Perkembangan Claude membuat tes lama semakin mudah diselesaikan AI sehingga tidak lagi efektif membedakan kandidat terbaik.
4. Apakah AI akan menggantikan software engineer? Hasil ini menunjukkan AI dapat mengotomatisasi semakin banyak tugas teknis, tetapi pekerjaan software engineer mencakup kemampuan yang jauh lebih luas daripada menyelesaikan soal coding.
5. Apa pelajaran bagi mahasiswa dan calon software engineer? Penguasaan konsep dasar, penalaran komputasional, kemampuan mengevaluasi keluaran AI, dan keterampilan memecahkan masalah menjadi semakin penting.