Search-engine-indexing

Artikel ini membahas fondasi teknis agar website—baik static maupun dynamic—dapat dikenali search engine. Dimulai dari cara kerja crawler (crawling, rendering, indexing), dijelaskan peran krusial robots.txt sebagai gerbang akses dan sitemap XML sebagai peta navigasi URL valid. Dibahas perbedaan setup untuk static vs dynamic (SSR/ISR), daftar user-agent penting, serta implementasi praktis di Next.js App Router pada Vercel, termasuk contoh robots.txt dan sitemap.ts yang SEO-safe dan sinkron dengan konten.