AI Application Engineer: Membawa Proof-of-Concept (PoC) LLM Anda ke Produksi Enterprise — Mengatasi Halusinasi, Latensi & Biaya Token
Membuat demo LLM di notebook Jupyter atau Streamlit hanya membutuhkan satu sore, namun sebagian besar Proof-of-Concept (PoC) AI enterprise terhenti sebelum mencapai tahap produksi. Di lingkungan produksi nyata, prompt tanpa cache menghasilkan latensi p95 hingga 8 detik, generasi bebas mengalami halusinasi nomor kebijakan, serangan prompt-injection membocorkan instruksi sistem, dan tagihan model membengkak. Sebagai AI Application Engineer dan GCP Engineer, saya merancang ulang PoC LLM yang rapuh menjadi sistem AI kelas produksi di atas Google Cloud Vertex AI, Google ADK, dan PostgreSQL pgvector.
1. Routing Model Berjenjang (Flash vs. Pro) & Context Caching
Mengirimkan setiap kueri klasifikasi atau ekstraksi sederhana ke model penalaran terbesar membuang latensi dan anggaran. Kami menerapkan router kompleksitas deterministik yang dipadukan dengan Vertex AI Context Caching sehingga rubrik sistem statis dan skema domain ditokenisasi satu kali dengan penghematan biaya hingga 75–90%:
from enum import Enum
from pydantic import BaseModel, Field
class QueryComplexityTier(str, Enum):
FAST_FLASH = "gemini-2.5-flash"
DEEP_PRO = "gemini-2.5-pro"
class RoutedPromptEnvelope(BaseModel):
tier: QueryComplexityTier
requires_rag_grounding: bool
max_output_tokens: int = Field(default=1024, le=4096)
def select_inference_tier(user_query: str, token_estimate: int, tool_count: int) -> RoutedPromptEnvelope:
high_reasoning_markers = ("bandingkan kontrak", "rekonsiliasi", "multi-langkah", "akar masalah")
needs_pro = token_estimate > 6000 or tool_count > 3 or any(
m in user_query.lower() for m in high_reasoning_markers
)
return RoutedPromptEnvelope(
tier=QueryComplexityTier.DEEP_PRO if needs_pro else QueryComplexityTier.FAST_FLASH,
requires_rag_grounding=True,
max_output_tokens=2048 if needs_pro else 768,
)
2. Verifikasi Kutipan Ter-Grounding & Gerbang Regresi CI/CD
Untuk menghilangkan halusinasi, setiap klaim yang dihasilkan wajib mencantumkan ID potongan dokumen dari pipeline RAG hibrida Vertex AI & pgvector dan diverifikasi melalui gerbang regresi CI otomatis Ragas & DeepEval sebelum perubahan prompt dirilis ke produksi. Kunjungi Layanan Sprint Teknik 1 Hari untuk akselerasi produksi sistem AI Anda.