Cloudflare memperkenalkan endpoint baru bernama /crawl yang memungkinkan developer menjelajah seluruh situs hanya dengan satu panggilan API.

Fitur ini dirancang untuk mempermudah proses pengambilan konten tanpa perlu membuat script crawler sendiri atau mengelola browser automation yang biasanya cukup kompleks.

Dengan pendekatan yang lebih sederhana, endpoint ini langsung mengembalikan isi halaman dalam format yang siap digunakan. Beberapa hal menarik dari fitur ini:

• Cukup satu API call untuk melakukan crawling satu situs penuh.
• Tidak memerlukan script tambahan atau manajemen browser.
• Konten bisa diambil dalam format HTML, Markdown, atau JSON sehingga mudah dipakai untuk analisis data, indexing, atau AI training.