Dari Crawling hingga Core Web Vitals — Semua yang Perlu Anda Ketahui
Oleh: Tim NEORIX
Praktisi Optimasi Digital & AI
📅 Terakhir diperbarui: Mei 2026
📊 RINGKASAN EKSEKUTIF (Answer-First untuk SGE)
SEO Teknikal (Technical SEO) adalah proses mengoptimasi infrastruktur teknis website agar mesin pencari (Google) dapat merayapi (crawl), mengindeks (index), dan memahami website Anda dengan mudah. Berbeda dengan SEO on-page (konten) dan off-page (backlink), SEO teknikal berfokus pada elemen di balik layar: kecepatan, mobile-friendly, struktur URL, crawling, indexing, keamanan (HTTPS), dan structured data.
| Komponen Utama | Fungsi | Dampak ke Ranking |
|---|---|---|
| Crawlability | Memudahkan Googlebot menjelajahi website | ⭐⭐⭐⭐⭐ |
| Indexability | Memudahkan Google menyimpan halaman ke database | ⭐⭐⭐⭐⭐ |
| Core Web Vitals | Kecepatan loading, responsivitas, stabilitas visual | ⭐⭐⭐⭐⭐ |
| Mobile-friendly | Tampil sempurna di smartphone | ⭐⭐⭐⭐⭐ |
| Structured Data | Membantu Google memahami konten (rich result) | ⭐⭐⭐⭐ |
| HTTPS & Keamanan | Enkripsi data, kepercayaan pengguna | ⭐⭐⭐⭐ |
| Struktur URL | URL bersih, deskriptif, mudah dibaca | ⭐⭐⭐ |
💡 “Konten terbaik di dunia tidak akan pernah ranking jika Googlebot tidak bisa mengakses, membaca, dan memahami website Anda. SEO Teknikal adalah fondasi sebelum segalanya.”
🕷️ BAGIAN 1: CRAWLING & INDEXING – AGAR GOOGLE BISA MENEMUKAN WEBSITE ANDA
1.1. Apa Itu Crawling dan Indexing?
| Istilah | Penjelasan |
|---|---|
| Crawling | Googlebot mengunjungi website Anda dan mengikuti tautan dari satu halaman ke halaman lain |
| Indexing | Google menyimpan halaman yang sudah di-crawl ke dalam database raksasa (Google Index) |
| Crawl Budget | Jumlah halaman yang akan dikunjungi Google dalam periode tertentu (terbatas) |
1.2. Faktor yang Mempengaruhi Crawl Budget
| Faktor | Dampak | Optimasi |
|---|---|---|
| Ukuran website | ⭐⭐⭐⭐ | Website besar (>10.000 halaman) butuh crawl budget lebih besar |
| Kecepatan website | ⭐⭐⭐⭐⭐ | Website lambat → crawl budget terbuang |
| Server response | ⭐⭐⭐⭐⭐ | Server error (5xx) → Google hentikan crawling |
| Internal linking | ⭐⭐⭐⭐ | Halaman tanpa tautan internal mungkin tidak di-crawl |
| Freshness | ⭐⭐⭐ | Konten baru/update → crawl lebih sering |
1.3. Cara Memeriksa Crawling & Indexing
| Tools | Fungsi | Cara |
|---|---|---|
| Google Search Console | Lihat halaman terindeks | Coverage → Valid pages |
| Google Search Console | Cek status per URL | URL Inspection → Masukkan URL |
| Site:domain.com | Hitung perkiraan halaman terindeks | Ketik site:neorix.id di Google |
| Screaming Frog | Crawl seperti Googlebot | Unduh gratis (500 URL) |
1.4. Robots.txt – Mengontrol Akses Googlebot
Apa itu robots.txt? File teks di root website yang memberi instruksi ke crawler (Googlebot) halaman mana yang boleh dan tidak boleh di-crawl.
Contoh robots.txt:
txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /internal/ Sitemap: https://neorix.id/sitemap.xml
| Perintah | Fungsi |
|---|---|
User-agent: * | Berlaku untuk semua crawler |
Allow: / | Izinkan crawl seluruh website |
Disallow: /admin/ | Jangan crawl folder /admin/ |
Sitemap: | Beri tahu lokasi sitemap |
1.5. XML Sitemap – Peta untuk Google
Apa itu XML Sitemap? File yang berisi daftar semua halaman penting di website Anda, membantu Google menemukan halaman yang mungkin terlewat.
Contoh sitemap.xml:
xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://neorix.id/</loc>
<lastmod>2026-05-08</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://neorix.id/layanan/geo</loc>
<lastmod>2026-05-08</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
| Tag | Fungsi |
|---|---|
<loc> | URL halaman |
<lastmod> | Tanggal terakhir diupdate |
<changefreq> | Seberapa sering berubah |
<priority> | Prioritas relatif (0.0-1.0) |
⚡ BAGIAN 2: CORE WEB VITALS – KECEPATAN & PENGALAMAN PENGGUNA
2.1. Apa Itu Core Web Vitals?
Core Web Vitals adalah metrik Google untuk mengukur pengalaman pengguna (User Experience) di website. Ini adalah faktor ranking resmi Google (sejak 2021).
| Metrik | Nama | Target | Cara Ukur |
|---|---|---|---|
| LCP | Largest Contentful Paint | <2,5 detik | Kecepatan loading konten utama |
| FID | First Input Delay | <100 ms | Responsivitas saat pengguna klik/interaksi |
| CLS | Cumulative Layout Shift | <0,1 | Stabilitas visual saat loading |
2.2. Detail Setiap Metrik
A. LCP (Largest Contentful Paint)
Apa itu: Waktu yang dibutuhkan untuk menampilkan elemen terbesar di halaman (biasanya gambar hero, video, atau blok teks besar).
| Skor | Waktu | Status |
|---|---|---|
| Baik | <2,5 detik | ✅ |
| Perlu Perbaikan | 2,5 – 4 detik | ⚠️ |
| Buruk | >4 detik | ❌ |
Penyebab LCP Buruk:
- Gambar terlalu besar (belum dikompres)
- Server lambat (TTFB tinggi)
- Render-blocking resources (CSS/JS yang memblokir)
Solusi:
- Kompres gambar ke format WebP
- Gunakan CDN (Cloudflare, BunnyCDN)
- Optimasi server (caching, hosting cepat)
B. FID (First Input Delay)
Apa itu: Waktu antara pengguna melakukan interaksi pertama (klik, tap) dengan respons browser.
| Skor | Waktu | Status |
|---|---|---|
| Baik | <100 ms | ✅ |
| Perlu Perbaikan | 100 – 300 ms | ⚠️ |
| Buruk | >300 ms | ❌ |
Penyebab FID Buruk:
- JavaScript eksternal yang besar
- Eksekusi JS yang memblokir thread utama
- Banyak plugin/third-party scripts
Solusi:
- Minimalkan JavaScript yang tidak perlu
- Gunakan
deferatauasyncuntuk JS - Hapus plugin yang tidak digunakan
C. CLS (Cumulative Layout Shift)
Apa itu: Seberapa sering elemen di halaman bergerak/bergeser saat loading.
| Skor | Nilai | Status |
|---|---|---|
| Baik | <0,1 | ✅ |
| Perlu Perbaikan | 0,1 – 0,25 | ⚠️ |
| Buruk | >0,25 | ❌ |
Penyebab CLS Buruk:
- Gambar tanpa dimensi (width/height)
- Iklan yang muncul tiba-tiba
- Font yang mengganti ukuran setelah loading
Solusi:
- Selalu tentukan
widthdanheightuntuk gambar - Reserve space untuk iklan
- Gunakan font system default (non-Google Fonts) atau atur fallback
2.3. Tools untuk Mengukur Core Web Vitals
| Tools | Fungsi | Gratis |
|---|---|---|
| Google PageSpeed Insights | Cek skor LCP, FID, CLS per halaman | ✅ Ya |
| Google Search Console (Core Web Vitals report) | Lihat performa seluruh website | ✅ Ya |
| Chrome DevTools (Lighthouse) | Audit di browser Anda | ✅ Ya |
| WebPageTest | Cek dari berbagai lokasi & device | ✅ Ya (limited) |
📱 BAGIAN 3: MOBILE-FRIENDLY – WAJIB DI ERA SMARTPHONE
3.1. Mengapa Mobile-Friendly Penting?
| Fakta | Implikasi |
|---|---|
| 85% pencarian lokal dilakukan melalui smartphone | Jika website tidak mobile-friendly, Anda kehilangan 85% pelanggan potensial |
| Google mobile-first indexing sejak 2018 | Google menggunakan versi mobile website untuk menentukan ranking |
| Pengguna mobile lebih tidak sabar | Bounce rate lebih tinggi jika website lambat/tidak responsif |
3.2. Ciri-ciri Website Mobile-Friendly
| Kriteria | Penjelasan |
|---|---|
| Responsive design | Tampilan menyesuaikan lebar layar (CSS media queries) |
| Font terbaca tanpa zoom | Ukuran font minimal 16px |
| Tombol cukup besar | Minimal 48x48px untuk touch target |
| Tidak ada horizontal scroll | Konten tidak melebar ke kanan |
| Viewport meta tag | <meta name="viewport" content="width=device-width, initial-scale=1"> |
| Tidak ada pop-up mengganggu | Pop-up yang menutup konten utama (terutama di mobile) |
3.3. Tools untuk Mengecek Mobile-Friendly
| Tools | Fungsi |
|---|---|
| Google Mobile-Friendly Test | Cek apakah website Anda mobile-friendly |
| Google Search Console (Mobile Usability) | Lihat error mobile usability di seluruh website |
| Chrome DevTools (Device Toolbar) | Simulasikan berbagai device |
🔒 BAGIAN 4: HTTPS & KEAMANAN
4.1. Mengapa HTTPS Wajib?
| Alasan | Penjelasan |
|---|---|
| Faktor ranking Google | HTTPS adalah sinyal ranking positif (sejak 2014) |
| Keamanan data | Enkripsi data antara browser dan server (melindungi dari hacker) |
| Kepercayaan pengguna | Browser modern menunjukkan “Not Secure” jika masih HTTP |
| Rekomendasi untuk website bertransaksi | Wajib untuk e-commerce, login, dll |
4.2. Cara Implementasi HTTPS
| Langkah | Penjelasan |
|---|---|
| Beli SSL Certificate | Dari penyedia hosting (banyak yang gratis: LetsEncrypt, Cloudflare) |
| Install SSL | Ikuti panduan hosting Anda |
| Redirect HTTP ke HTTPS | Tambahkan kode di .htaccess atau plugin |
| Update internal link | Pastikan semua link menggunakan HTTPS |
| Update Google Search Console | Tambahkan properti HTTPS |
4.3. Cek Keamanan Website
| Tools | Fungsi |
|---|---|
| SSL Labs (SSL Test) | Cek kekuatan SSL certificate |
| Google Search Console (Security Issues) | Lihat jika website Anda di-hack atau ada malware |
| Sucuri SiteCheck | Cek malware, blacklist, keamanan |
🏗️ BAGIAN 5: STRUKTUR URL & SITUS
5.1. Struktur URL yang SEO-Friendly
| ✅ Baik | ❌ Buruk |
|---|---|
neorix.id/layanan/optimasi-geo | neorix.id/p=123&id=456 |
neorix.id/blog/apa-itu-seo | neorix.id/index.php?cat=3&id=789 |
neorix.id/produk/sepatu-lari | neorix.id/sepatu-lari?utm_source=fb |
5.2. Praktik Terbaik URL
| Praktik | Contoh |
|---|---|
| Gunakan lowercase | neorix.id/tentang-kami (bukan Tentang-Kami) |
| Gunakan “-” sebagai pemisah | neorix.id/cara-memilih-sepatu (bukan cara_memilih_sepatu) |
| Jangan terlalu panjang | Maksimal 60-70 karakter (idealnya 50) |
| Deskriptif | Pengguna bisa menebak isi halaman dari URL |
| Hindari parameter tidak perlu | ?id=123, ?ref=abc, ?utm_source=... |
5.3. Struktur Situs (Site Architecture)
| Prinsip | Penjelasan |
|---|---|
| Flat structure | Setiap halaman bisa dicapai dalam 3-4 klik dari beranda |
| Internal linking | Setiap halaman punya tautan dari halaman lain |
| Hierarki jelas | Home → Kategori → Sub-kategori → Artikel |
| Breadcrumb | Navigasi yang menunjukkan posisi (Home > Layanan > GEO) |
Contoh struktur baik:
text
Beranda (Home) ├── Layanan │ ├── Optimasi GEO │ ├── Optimasi SEO │ └── Optimasi SGE ├── Blog │ ├── Artikel SEO │ ├── Artikel GEO │ └── Artikel SGE └── Tentang Kami
Contoh struktur buruk:
text
Beranda (Home) → (tidak ada tautan ke halaman lain) ├── Halaman A (hanya bisa diakses dari menu, tidak dari konten) └── Halaman B (halaman yatim, tidak ada internal link)
📋 BAGIAN 6: STRUKTURED DATA (SCHEMA MARKUP)
6.1. Apa Itu Structured Data?
Structured Data adalah kode (JSON-LD) yang diletakkan di website untuk memberi tahu Google tentang konten Anda. Google menggunakannya untuk menampilkan rich result (hasil pencarian yang lebih kaya).
6.2. Jenis Structured Data yang Penting
| Jenis Schema | Fungsi | Contoh Rich Result |
|---|---|---|
| FAQPage | Menandai konten tanya-jawab | FAQ di hasil pencarian |
| HowTo | Menandai instruksi langkah-langkah | Langkah-langkah dengan gambar |
| Product | Informasi produk (harga, stok, review) | Bintang rating, harga |
| LocalBusiness | Informasi bisnis lokal (alamat, telepon) | Google Maps, jam operasional |
| Organization | Informasi perusahaan (logo, sosial media) | Knowledge Panel |
| Article | Informasi artikel (judul, gambar, tanggal) | Thumbnail di berita |
6.3. Contoh Kode FAQPage Schema
json
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "Apa itu SEO?",
"acceptedAnswer": {
"@type": "Answer",
"text": "SEO adalah proses mengoptimalkan website agar muncul di halaman pertama Google..."
}
}
]
}
6.4. Tools untuk Structured Data
| Tools | Fungsi |
|---|---|
| Google Rich Results Test | Cek apakah schema markup didukung oleh Google |
| Schema.org | Referensi semua jenis schema |
| Rank Math SEO / Yoast SEO | Plugin WordPress untuk menambahkan schema tanpa coding |
📊 BAGIAN 7: PERBANDINGAN CEPAT (TABEL)
| Komponen | Fungsi | Tools Pengecekan | Prioritas |
|---|---|---|---|
| Crawling & Indexing | Google bisa temukan website | Google Search Console | 🔴 WAJIB |
| Robots.txt | Kontrol akses Googlebot | Google Search Console (robots.txt tester) | 🔴 WAJIB |
| XML Sitemap | Bantu Google temukan semua halaman | Google Search Console (Sitemaps) | 🔴 WAJIB |
| Core Web Vitals | Kecepatan & pengalaman pengguna | PageSpeed Insights, GSC | 🔴 WAJIB |
| Mobile-friendly | Tampil sempurna di HP | Mobile-Friendly Test | 🔴 WAJIB |
| HTTPS | Keamanan & enkripsi | SSL Labs | 🔴 WAJIB |
| Structured Data | Rich result di SERP | Rich Results Test | 🟠 SANGAT DISARANKAN |
| Struktur URL | URL bersih & deskriptif | Manual | 🟡 DISARANKAN |
❓ BAGIAN 8: PERTANYAAN UMUM (FAQ)
Q1: Apa perbedaan SEO teknikal, on-page, dan off-page?
Jawaban:
- SEO Teknikal: Optimasi infrastruktur (kecepatan, crawling, indexing, mobile-friendly)
- SEO On-page: Optimasi konten & elemen di halaman (heading, meta tag, keyword)
- SEO Off-page: Optimasi di luar website (backlink, brand mention)
Q2: Apakah SEO teknikal penting untuk website kecil?
Jawaban: Sangat penting. Website kecil sekalipun (5-10 halaman) tetap perlu:
- Kecepatan loading yang baik
- Mobile-friendly
- HTTPS
- XML sitemap
- Submit ke Google Search Console
Tanpa SEO teknikal, Google mungkin tidak menemukan website Anda sama sekali.
Q3: Berapa lama waktu yang dibutuhkan untuk memperbaiki SEO teknikal?
Jawaban: Tergantung masalah:
- Perbaikan robots.txt atau sitemap: 1-2 jam
- Perbaikan Core Web Vitals (gambar, caching): 1-7 hari
- Migrasi HTTP ke HTTPS: 1-3 hari
- Redesign mobile-friendly: 2-4 minggu
Q4: Tools apa yang wajib untuk memantau SEO teknikal?
Jawaban:
| Wajib | Opsional |
|---|---|
| Google Search Console | Screaming Frog |
| Google PageSpeed Insights | Ahrefs / SEMrush |
| Mobile-Friendly Test | GTmetrix |
| SSL Labs | WebPageTest |
Q5: Apa itu crawl budget dan apakah website kecil perlu khawatir?
Jawaban: Crawl budget adalah jumlah halaman yang akan dikunjungi Google dalam periode tertentu. Untuk website kecil (<1.000 halaman), crawl budget biasanya tidak masalah. Untuk website besar (>10.000 halaman), crawl budget perlu dioptimasi.
Q6: Bagaimana cara memperbaiki CLS (Cumulative Layout Shift)?
Jawaban:
- Tentukan
widthdanheightuntuk semua gambar - Reserve space untuk iklan
- Hindari font yang mengganti ukuran setelah loading
- Gunakan CSS aspect-ratio untuk elemen dinamis
Q7: Apakah perlu menggunakan CDN (Content Delivery Network)?
Jawaban: Disarankan untuk website yang:
- Memiliki pengunjung dari berbagai lokasi geografis
- Memiliki traffic tinggi (>10.000 pengunjung/hari)
- Memiliki konten media berat (gambar, video)
CDN gratis: Cloudflare. CDN berbayar: BunnyCDN, KeyCDN.
Q8: Bagaimana cara mengecek apakah Googlebot dapat mengakses website saya?
Jawaban:
- Google Search Console → Settings → Crawl stats → Lihat “Crawl requests”
- URL Inspection → Masukkan URL → Test Live URL → Lihat apakah Googlebot bisa mengakses
📞 KESIMPULAN & CALL TO ACTION
SEO Teknikal adalah fondasi sebelum segalanya. Tanpa SEO teknikal yang baik, konten terbaik di dunia tidak akan pernah ranking. Pastikan website Anda:
- ✅ Mudah di-crawl dan diindeks Google
- ✅ Cepat (Core Web Vitals)
- ✅ Mobile-friendly
- ✅ Aman (HTTPS)
- ✅ Memiliki structured data (minimal FAQPage untuk konten Q&A)
NEORIX dapat membantu Anda:
- ✅ Audit SEO teknikal menyeluruh (crawling, indexing, kecepatan, mobile, keamanan)
- ✅ Perbaiki Core Web Vitals (LCP, FID, CLS)
- ✅ Implementasi structured data (schema markup)
📱 WhatsApp: 0822-2595-0367
📧 Email: info@neorix.id
📍 Alamat: Padokan RT 02/ RW 04, Sawahan, Ngemplak, Boyolali, Jawa Tengah
🌐 Website: www.neorix.id
© 2026 NEORIX – Optimasi Bisnis dengan Kecerdasan Buatan
