GCP Engineer: Merancang Pencatat Penggunaan & Penagihan Heartbeat Idempoten di Google Cloud Datastore

Mengukur konsumsi SaaS berbasis waktu—seperti sesi notebook GPU aktif, ruang media WebRTC, atau sandbox IDE cloud—tidak dapat hanya mengandalkan event "berhenti sesi" di akhir. Jika node worker dihentikan paksa atau pengguna menutup tab browser secara tiba-tiba, mengandalkan event penutupan akan menyebabkan kebocoran jam komputasi yang tidak tertagih atau justru menagih pelanggan secara berlebihan akibat sesi zombi. Sebagai Google Cloud Platform (GCP) Engineer dan Backend Engineer, saya merancang mesin pencatat heartbeat idempoten di Google Cloud Datastore dan Firestore Native Mode.

1. Deduplikasi Slot Waktu Monotonik vs. Penambahan Counter Biasa

Jika klien mengirimkan heartbeat setiap 30 detik dan melakukan percobaan ulang (retry) saat terjadi kesalahan jaringan, handler naif yang menambahkan billed_seconds += 30 akan menagih ganda pada setiap retry. Sebagai gantinya, kami membagi waktu ke dalam slot deterministik 30 detik (slot_id = int(timestamp // 30)) di dalam transaksi Datastore:

import time
from google.cloud import datastore

client = datastore.Client()
HEARTBEAT_INTERVAL_SEC = 30
MAX_LEASE_GAP_SEC = 90  # Jeda > 90 detik dianggap sesi terputus sementara

def record_usage_heartbeat(session_id: str, tenant_id: str, event_ts: int) -> dict:
    slot_id = event_ts // HEARTBEAT_INTERVAL_SEC
    key = client.key("TenantSessionMeter", f"{tenant_id}:{session_id}")

    with client.transaction():
        entity = client.get(key)
        if entity is None:
            entity = datastore.Entity(key=key, exclude_from_indexes=("recent_slots",))
            entity.update({
                "tenant_id": tenant_id,
                "session_id": session_id,
                "started_at": event_ts,
                "last_slot_id": slot_id,
                "billed_slots": 1,
                "recent_slots": [slot_id],
                "updated_at": int(time.time()),
            })
            client.put(entity)
            return {"status": "initialized", "billed_seconds": HEARTBEAT_INTERVAL_SEC}

        recent_slots = set(entity.get("recent_slots", []))
        if slot_id in recent_slots:
            return {
                "status": "duplicate_noop",
                "billed_seconds": entity["billed_slots"] * HEARTBEAT_INTERVAL_SEC,
            }

        last_slot = entity["last_slot_id"]
        slot_delta = slot_id - last_slot
        if 1 <= slot_delta <= (MAX_LEASE_GAP_SEC // HEARTBEAT_INTERVAL_SEC):
            newly_billed = slot_delta
        else:
            newly_billed = 1

        recent_slots.add(slot_id)
        pruned_slots = sorted(s for s in recent_slots if s >= slot_id - 32)
        entity["last_slot_id"] = max(last_slot, slot_id)
        entity["billed_slots"] += newly_billed
        entity["recent_slots"] = pruned_slots
        entity["updated_at"] = int(time.time())
        client.put(entity)
        return {
            "status": "metered",
            "billed_seconds": entity["billed_slots"] * HEARTBEAT_INTERVAL_SEC,
        }

2. Mencegah Kontensi Kunci & Menutup Sesi Kedaluwarsa

Karena setiap sesi menulis ke kuncinya sendiri (TenantSessionMeter(tenant_id:session_id)) paling banyak sekali setiap 30 detik, frekuensi penulisan tetap berada jauh di bawah batas 1 penulisan/detik/entitas di Cloud Datastore—menghindari kontensi kunci yang kami bahas pada panduan penguncian Datastore Mode vs. Native Firestore. Pekerjaan terjadwal Cloud Scheduler berjalan setiap 5 menit untuk menyegel sesi yang tidak aktif lebih dari 120 detik dan meneruskan rekap ke BigQuery serta transactional outbox PostgreSQL. Kunjungi Layanan Sprint Teknik 1 Hari untuk bantuan arsitektur GCP.


About the Author — Hire Aldian Fazrihady (Cloud Engineer, GCP Professional Cloud Architect, GCP Professional Data Engineer, Backend, AI & Full Stack Engineer)

Aldian Fazrihady is a Top-Rated Senior Cloud Engineer, GCP Professional Cloud Architect (Google Cloud Certified), GCP Professional Data Engineer (Google Cloud Certified), Backend Engineer (Python, Django, FastAPI, Go, PostgreSQL), AI Application Engineer (LLMs, RAG, MCP, Google ADK, LangGraph), and Full Stack Engineer (React, Next.js, TypeScript) with 15+ years of production software engineering experience.

Hire Aldian Fazrihady on Upwork | Book 1-Day Programming Service ($100 USD / Rp 1.000.000) | View Live AI Portfolio | Send a Direct Message

Related Engineering Articles

Engineering Role Pillar Guides & Category Hubs