Deskripsi Pekerjaan
Bergabunglah dengan Nexus Data Solutions, pemimpin innovasi dalam ekosistem data digital. Kami sedang mencari Scraper Operator berbakat untuk bergabung dengan tim kami. Jika Anda memiliki passion untuk memecahkan kode kompleks dan mengambil data tersembunyi dari internet, ini adalah kesempatan emas Anda.
Sebagai Scraper Operator, Anda akan berperan sebagai jembatan antara informasi mentah di web dan kebutuhan bisnis strategis kami. Anda akan membangun infrastruktur pengurasan data yang tangguh, aman, dan scalable.
Tanggung Jawab
- Merancang dan mengembangkan skrip web scraping menggunakan Python atau Node.js yang efisien dan scalable.
- Mengelola dan memelihara proxy rotasi serta rotasi IP untuk menghindari deteksi anti-bot.
- Memantau kinerja scraper secara real-time dan melakukan troubleshooting jika terjadi error.
- Membersihkan dan mengonversi data mentah menjadi format yang terstruktur (CSV, JSON, SQL) untuk analisis mendalam.
- Meninjau perubahan struktur website target secara berkala dan memperbarui skrip scraper agar tetap berfungsi.
- Mengamankan data mentah yang diambil untuk memenuhi standar privasi dan keamanan perusahaan.
Kualifikasi
- Pengalaman minimal 2-3 tahun dalam pengembangan web scraping atau pengambilan data otomatis.
- Kemampuan pemrograman yang kuat dalam Python (Scrapy, Selenium, Beautiful Soup) atau Node.js (Puppeteer, Cheerio).
- Pemahaman mendalam tentang HTTP request, cookies, headers, dan anti-bot detection techniques.
- Kemampuan analisis data dasar untuk memvalidasi integritas data yang diambil.
- Komunikasi yang jelas dan kemampuan bekerja dalam tim yang dinamis.
- Tingkat ketelitian tinggi dalam menangani data dan logika pemrograman.