GCP Engineer: Merancang Pencatat Penggunaan & Penagihan Heartbeat Idempoten di Google Cloud Datastore
Mengukur konsumsi SaaS berbasis waktu—seperti sesi notebook GPU aktif, ruang media WebRTC, atau sandbox IDE cloud—tidak dapat hanya mengandalkan event "berhenti sesi" di akhir. Jika node worker dihentikan paksa atau pengguna menutup tab browser secara tiba-tiba, mengandalkan event penutupan akan menyebabkan kebocoran jam komputasi yang tidak tertagih atau justru menagih pelanggan secara berlebihan akibat sesi zombi. Sebagai Google Cloud Platform (GCP) Engineer dan Backend Engineer, saya merancang mesin pencatat heartbeat idempoten di Google Cloud Datastore dan Firestore Native Mode.
1. Deduplikasi Slot Waktu Monotonik vs. Penambahan Counter Biasa
Jika klien mengirimkan heartbeat setiap 30 detik dan melakukan percobaan ulang (retry) saat terjadi kesalahan jaringan, handler naif yang menambahkan billed_seconds += 30 akan menagih ganda pada setiap retry. Sebagai gantinya, kami membagi waktu ke dalam slot deterministik 30 detik (slot_id = int(timestamp // 30)) di dalam transaksi Datastore:
import time
from google.cloud import datastore
client = datastore.Client()
HEARTBEAT_INTERVAL_SEC = 30
MAX_LEASE_GAP_SEC = 90 # Jeda > 90 detik dianggap sesi terputus sementara
def record_usage_heartbeat(session_id: str, tenant_id: str, event_ts: int) -> dict:
slot_id = event_ts // HEARTBEAT_INTERVAL_SEC
key = client.key("TenantSessionMeter", f"{tenant_id}:{session_id}")
with client.transaction():
entity = client.get(key)
if entity is None:
entity = datastore.Entity(key=key, exclude_from_indexes=("recent_slots",))
entity.update({
"tenant_id": tenant_id,
"session_id": session_id,
"started_at": event_ts,
"last_slot_id": slot_id,
"billed_slots": 1,
"recent_slots": [slot_id],
"updated_at": int(time.time()),
})
client.put(entity)
return {"status": "initialized", "billed_seconds": HEARTBEAT_INTERVAL_SEC}
recent_slots = set(entity.get("recent_slots", []))
if slot_id in recent_slots:
return {
"status": "duplicate_noop",
"billed_seconds": entity["billed_slots"] * HEARTBEAT_INTERVAL_SEC,
}
last_slot = entity["last_slot_id"]
slot_delta = slot_id - last_slot
if 1 <= slot_delta <= (MAX_LEASE_GAP_SEC // HEARTBEAT_INTERVAL_SEC):
newly_billed = slot_delta
else:
newly_billed = 1
recent_slots.add(slot_id)
pruned_slots = sorted(s for s in recent_slots if s >= slot_id - 32)
entity["last_slot_id"] = max(last_slot, slot_id)
entity["billed_slots"] += newly_billed
entity["recent_slots"] = pruned_slots
entity["updated_at"] = int(time.time())
client.put(entity)
return {
"status": "metered",
"billed_seconds": entity["billed_slots"] * HEARTBEAT_INTERVAL_SEC,
}
2. Mencegah Kontensi Kunci & Menutup Sesi Kedaluwarsa
Karena setiap sesi menulis ke kuncinya sendiri (TenantSessionMeter(tenant_id:session_id)) paling banyak sekali setiap 30 detik, frekuensi penulisan tetap berada jauh di bawah batas 1 penulisan/detik/entitas di Cloud Datastore—menghindari kontensi kunci yang kami bahas pada panduan penguncian Datastore Mode vs. Native Firestore. Pekerjaan terjadwal Cloud Scheduler berjalan setiap 5 menit untuk menyegel sesi yang tidak aktif lebih dari 120 detik dan meneruskan rekap ke BigQuery serta transactional outbox PostgreSQL. Kunjungi Layanan Sprint Teknik 1 Hari untuk bantuan arsitektur GCP.