Практическая карта рынка: n8n, Flowise, LangGraph, Haystack, LiteLLM, Kong AI Gateway, Portkey и другие. С фокусом на on-prem, private cloud, TCO и production-ready архитектуру.
Для большинства внутренних AI-автоматизаций: n8n как orchestration/UI-слой + LiteLLM как gateway + observability слой через OpenTelemetry / Langfuse.
Если есть stateful multi-agent runtime, графы с resumability, глубокий control-flow и long-running agent loops — нужен отдельный orchestration framework.
Главная архитектурная ошибка — оценивать AI Gateway, workflow orchestrator и observability platform как взаимозаменяемые продукты. Они закрывают разные уровни стека.
Единый API, routing, fallback, budget control, quotas, observability, governance, security policy.
Графы, state, persistence, RAG pipelines, tool orchestration, HITL, multi-step execution и business process automation.
Tracing, token/cost telemetry, prompt/version tracking, datasets, quality control, regression detection.
На практике production-контур почти всегда собирается как композитный стек, а не как «одна волшебная платформа».
Порталы, CRM, BPM, сервис-деск, внутренние кабинеты, API-клиенты и чат-интерфейсы.
n8n для бизнес-флоу и интеграций; LangGraph / Haystack — когда нужны stateful agent flows и глубокая логика исполнения.
Единая точка выхода к моделям: routing, fallback, quotas, keys, policy, telemetry, cost governance.
Рациональный путь — не строить сразу «суперплатформу», а последовательно отделить gateway, orchestration и observability слои.
n8n + LLM API + корпоративные интеграции. Создание первых сценариев за дни, а не месяцы.
Подключение AI Gateway для routing, quota management, fallback, cost и policy enforcement.
Tracing, evals, secrets, RBAC, приватный networking, SSO и нормализованный telemetry pipeline.
Точечное добавление LangGraph / Haystack там, где реально нужен stateful execution и agent runtime.
Один инструмент редко выигрывает во всех сценариях. Выбор зависит от того, нужен ли контроль API-трафика, orchestration процессов или stateful agent runtime.
Нужно быстро выпустить внутренний AI-сервис с минимальным штатом и ограниченным бюджетом.
n8n Flowise LiteLLMНужны приватное развёртывание, контроль трафика, аудит, интеграции и управляемая эксплуатация.
n8n LiteLLM / Kong AI LangfuseЕсть state, graph execution, resumability, сложные ветвления и инструментальные агенты.
LangGraph HaystackНужны routing, quotas, retries, fallback, provider abstraction и observability на уровне API.
LiteLLM Kong AI Gateway PortkeyИспользуйте n8n как базовый слой автоматизации и интеграций, AI Gateway как слой диспетчеризации и контроля LLM-трафика, а сложные stateful agent-сценарии выносите в LangGraph / Haystack точечно, только там, где они действительно окупаются.