Panduan GCP & Backend Engineer: Backfill Batch Ber-Checkpoint di Cloud Datastore
Di Google Cloud Datastore (dan Firestore dalam Mode Datastore), menambahkan indeks komposit baru di index.yaml atau menghapus tag noindex di struct Go tidak secara surut mengindeks entitas historis yang sudah ada hingga setiap entitas dibaca ulang dan ditulis ulang. Lebih buruk lagi, menjalankan kueri backfill naif dengan OFFSET atau menahan satu iterator kueri terbuka di 20 juta entitas akan gagal dengan InvalidArgument: query cursor expired setelah 30–60 menit. Sebagai GCP engineer dan backend engineer, saya membangun pekerja pengindeksan ulang batch ber-checkpoint kursor dan berbatas laju di Go.
1. Iterasi Batch Ber-Checkpoint Kursor & Potongan PutMulti 400 Entitas di Go
Alih-alih OFFSET (yang menagih operasi baca untuk setiap entitas yang dilewati), kami mengkueri 400 entitas per halaman, mengekstrak datastore.Cursor setelah setiap batch, menyimpan checkpoint kursor agar pekerjaan yang terputus dapat dilanjutkan dengan bersih, dan menulis kembali entitas dalam potongan PutMulti di bawah batas 500 entitas Datastore:
// backfill/datastore_reindex.go
package backfill
import (
"context"
"errors"
"time"
"cloud.google.com/go/datastore"
"google.golang.org/api/iterator"
)
const PageSize = 400
func ReindexKindPage(ctx context.Context, client *datastore.Client, kind, cursorStr string) (nextCursor string, processed int, err error) {
q := datastore.NewQuery(kind).Limit(PageSize)
if cursorStr != "" {
cur, err := datastore.DecodeCursor(cursorStr)
if err != nil {
return "", 0, err
}
q = q.Start(cur)
}
var (
keys []*datastore.Key
entities []datastore.PropertyList
)
it := client.Run(ctx, q)
for {
var props datastore.PropertyList
key, err := it.Next(&props)
if errors.Is(err, iterator.Done) {
break
}
if err != nil {
return "", 0, err
}
keys = append(keys, key)
entities = append(entities, props)
}
if len(keys) == 0 {
return "", 0, nil
}
cur, err := it.Cursor()
if err != nil {
return "", 0, err
}
if _, err := client.PutMulti(ctx, keys, entities); err != nil {
return "", 0, err
}
time.Sleep(50 * time.Millisecond)
return cur.String(), len(keys), nil
}
2. Menghindari Hot-Spotting pada Kunci yang Meningkat Secara Monotonik
Karena Datastore membagi tablet berdasarkan rentang kunci, menjalankan backfill berurutan pada 10.000 penulisan/detik akan menghantam satu tablet Bigtable pada satu waktu. Membatasi laju setiap pekerja atau membagi rentang di seluruh awalan kunci heksadesimal (00..ff) mendistribusikan beban tulis secara merata.