Panduan GCP & Backend Engineer: Backfill Batch Ber-Checkpoint di Cloud Datastore

Di Google Cloud Datastore (dan Firestore dalam Mode Datastore), menambahkan indeks komposit baru di index.yaml atau menghapus tag noindex di struct Go tidak secara surut mengindeks entitas historis yang sudah ada hingga setiap entitas dibaca ulang dan ditulis ulang. Lebih buruk lagi, menjalankan kueri backfill naif dengan OFFSET atau menahan satu iterator kueri terbuka di 20 juta entitas akan gagal dengan InvalidArgument: query cursor expired setelah 30–60 menit. Sebagai GCP engineer dan backend engineer, saya membangun pekerja pengindeksan ulang batch ber-checkpoint kursor dan berbatas laju di Go.

1. Iterasi Batch Ber-Checkpoint Kursor & Potongan PutMulti 400 Entitas di Go

Alih-alih OFFSET (yang menagih operasi baca untuk setiap entitas yang dilewati), kami mengkueri 400 entitas per halaman, mengekstrak datastore.Cursor setelah setiap batch, menyimpan checkpoint kursor agar pekerjaan yang terputus dapat dilanjutkan dengan bersih, dan menulis kembali entitas dalam potongan PutMulti di bawah batas 500 entitas Datastore:

// backfill/datastore_reindex.go
package backfill

import (
	"context"
	"errors"
	"time"

	"cloud.google.com/go/datastore"
	"google.golang.org/api/iterator"
)

const PageSize = 400

func ReindexKindPage(ctx context.Context, client *datastore.Client, kind, cursorStr string) (nextCursor string, processed int, err error) {
	q := datastore.NewQuery(kind).Limit(PageSize)
	if cursorStr != "" {
		cur, err := datastore.DecodeCursor(cursorStr)
		if err != nil {
			return "", 0, err
		}
		q = q.Start(cur)
	}

	var (
		keys     []*datastore.Key
		entities []datastore.PropertyList
	)
	it := client.Run(ctx, q)
	for {
		var props datastore.PropertyList
		key, err := it.Next(&props)
		if errors.Is(err, iterator.Done) {
			break
		}
		if err != nil {
			return "", 0, err
		}
		keys = append(keys, key)
		entities = append(entities, props)
	}

	if len(keys) == 0 {
		return "", 0, nil
	}

	cur, err := it.Cursor()
	if err != nil {
		return "", 0, err
	}

	if _, err := client.PutMulti(ctx, keys, entities); err != nil {
		return "", 0, err
	}
	time.Sleep(50 * time.Millisecond)
	return cur.String(), len(keys), nil
}

2. Menghindari Hot-Spotting pada Kunci yang Meningkat Secara Monotonik

Karena Datastore membagi tablet berdasarkan rentang kunci, menjalankan backfill berurutan pada 10.000 penulisan/detik akan menghantam satu tablet Bigtable pada satu waktu. Membatasi laju setiap pekerja atau membagi rentang di seluruh awalan kunci heksadesimal (00..ff) mendistribusikan beban tulis secara merata.

3. Referensi Data GCP & Backend Go Terkait


About the Author — Hire Aldian Fazrihady (Cloud Engineer, GCP Professional Cloud Architect, GCP Professional Data Engineer, Backend, AI & Full Stack Engineer)

Aldian Fazrihady is a Top-Rated Senior Cloud Engineer, GCP Professional Cloud Architect (Google Cloud Certified), GCP Professional Data Engineer (Google Cloud Certified), Backend Engineer (Python, Django, FastAPI, Go, PostgreSQL), AI Application Engineer (LLMs, RAG, MCP, Google ADK, LangGraph), and Full Stack Engineer (React, Next.js, TypeScript) with 15+ years of production software engineering experience.

Hire Aldian Fazrihady on Upwork | Book 1-Day Programming Service ($100 USD / Rp 1.000.000) | View Live AI Portfolio | Send a Direct Message

Related Engineering Articles

Engineering Role Pillar Guides & Category Hubs