Sumali na ang OmniRoute sa Cheaper InferenceTuklasin ang Cheaper Inference

#1 Open Source AI Router

Mag-route sa 352 provider sa pamamagitan ng isang OpenAI-compatible na endpoint, may automatic fallback.

OpenAI-compatible Libre at open source71.6k star (bubukas sa bagong tab)

OmniRoute × Cheaper Inference

Pagsamahin ang automatic fallback at developer tool ng OmniRoute sa cost-ranked marketplace ng Cheaper Inference. Nagsisimula ang bawat eligible na request sa pinakamurang available na provider route.

72 modelDirektang list price kumpara sa presyo ng Cheaper Inference
Direktang list price kumpara sa presyo ng Cheaper Inference ayon sa model
ModelPresyo ng inputPresyo ng outputTipidContextMga detalye
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokens60% off1.1M
gpt-oss-120bOpenAI · text$0.10$0.04/ 1M tokens$0.50$0.20/ 1M tokens60% off131K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokens50% off1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokens50% off1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% off128K
glm-4.5-airZ.ai · text$0.20$0.11/ 1M tokens$1.10$0.605/ 1M tokens45% off128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% off198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% off128K
Ipinapakita ang 8 sa 72 model

Mga pangunahing control

Isang endpoint para sa mga naka-configure mong provider.

Core control

Panatilihing tumatakbo ang mga request

Kapag hindi available o ubos na ang quota ng isang target, pipili ang OmniRoute ng susunod na healthy na target.

Core control

I-compress ang eligible na context

Isang pipeline na may 12 engine ang nagbabawas ng eligible na context ng 15–95%. Ang dokumentadong tool-heavy na halimbawa ay nabawasan ng ~89%.

Core control

$0 para magsimula

90+ free tier at 56 recurring o keyless na free-forever provider. Hindi kailangan ng credit card para sa keyless na quick start.

Core control

35 suportadong integration

I-configure ang Claude Code, Codex, Cursor, Cline, Copilot, Antigravity at iba pang suportadong client sa pamamagitan ng isang endpoint.

Core control

Isang endpoint

Tumatanggap ng OpenAI, Claude, Gemini at Responses API request sa /v1.

Core control

Mga operational control

Kasama sa self-hosted gateway ang circuit breaker, encrypted na credential, MCP, A2A, memory, guardrail at eval.

Ang catalog

Lahat sa likod ng isang endpoint.

Isang catalog na sumasaklaw sa chat, media, search, local runtime, cloud agent at system integration.

352 provider

Lahat sila, sa likod ng isang local endpoint.

Ang isang endpoint na tinuturo ng bawat clienthttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
ImageOpenAIImageAnthropicImageGoogleImageDeepSeekImagexAIImageZ.aiImageMoonshotImageMiniMaxImageAlibabaImageMetaImageBytedanceImageAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API keyOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Web cookieChatGPT Web, Claude Web, Gemini Web, Grok Web…
14LocalOllama, LM Studio, vLLM, llama.cpp…
13Walang authenticationOpenCode Free, Felo, Pollinations at iba pang keyless na route…
Tuklasin ang provider reference (opens in a new tab)

Quick start

I-install, patakbuhin, ikonekta.

I-install ang package, ilunsad ang gateway, pagkatapos ituro ang anumang OpenAI-compatible na client sa port 20128.

Provider catalog
352
Mga routing strategy
19
Local endpoint
:20128/v1

Step 1: I-install

I-install ang omniroute npm package nang global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Patakbuhin

Ilunsad ang API at dashboard nang magkasama sa port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Ikonekta ang tool mo

Gamitin ang http://localhost:20128/v1; gumagana ang keyless auto route sa bagong install.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Mga gateway control

Mga pangunahing gateway control sa isang process.

I-configure ang fallback, quota, compression, memory, MCP at A2A mula sa local dashboard.

Gateway control

Smart Combos

I-set ang model sa auto o bumuo ng sarili mong combo gamit ang 19 strategy at tiered fallback.

Gumamit ng ready-made na mode o pagsamahin ang 19 strategy ayon sa layuning mahalaga sa iyo.

Gateway control

Memory

Persistent na conversational memory na may FTS5 keyword at Qdrant vector recall.

Gateway control

3-layer na resilience

Ang provider breaker, connection cooldown at model lockout ay nag-isolate ng mga failure sa pinakamaliit na kapaki-pakinabang na scope.

Gateway control

Libreng quota

Pool-deduped na accounting sa 90+ free tier.

Nakalathalang free-tier capacity, deduplicated.

Gateway control

Compression

12 composable na engine para sa tool output, context at response style.

Bawasan ang eligible na token ng 15–95%.

Gateway control

MCP server

Isang built-in na server na naglalantad ng 110 gateway tool sa 33 scope.

110 tool · 33 scope · stdio / HTTP

Gateway control

A2A protocol

Isang JSON-RPC agent server na may 6 skill.

6 skill · JSON-RPC 2.0 · Agent Card

Gateway control

Semantic cache

Puwedeng bumalik mula sa cache ang paulit-ulit na request, at iniuulat ng response header kung ano ang natipid.

X-OmniRoute-Cache: HIT

Client compatibility

Panatilihin ang mga coding tool mo.

Ituro ang OpenAI-compatible na CLI o editor sa isang local base URL; hahawakan ng OmniRoute ang mga provider sa likod nito.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Gamitin ang mga OmniRoute model sa Copilot Chat.

Idinadagdag ng OmniCopilot ang mga OmniRoute model sa kasalukuyang model picker.

Opisyal na Marketplace

Gumagana sa VS Code stable at Insiders. I-install mula sa Marketplace o Extensions view.

Open VSX Registry

Para sa Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod at iba pang compatible na editor.

Hindi kailangan ng Copilot plan

Puwedeng tumakbo ang mga provider model sa pamamagitan ng OmniRoute sa Copilot Chat nang hindi dumadaan ang inference sa Copilot plan.

Mga karaniwang failure mode

Bakit OmniRoute

Tingnan kung aling control ang tumutugon sa bawat karaniwang failure mode.

Without routing
With OmniRoute
Nag-e-expire ang quota nang hindi nagagamit
Subaybayan at ubusin ang allowance na mayroon ka na
Pinipigilan ka ng rate limit sa gitna ng task
4-tier na auto-fallback sa loob ng millisecond
Umuubos ng token ang tool output
12-engine na compression, 15–95% sa eligible na content
Nagkakapatong ang gastos sa mahal na API
Puwedeng pumili ng pinakamurang eligible na target ang cost-optimized routing
Kailangan ng sariling setup ang bawat tool
Isang endpoint at isang dashboard
Hindi available ang isang provider mula sa network mo
Mga proxy scope at client-fingerprint control
Sinisira ng isang patay na key ang isang provider
Ini-isolate ng breaker, cooldown at lockout ang failure
Isang subscription ang hati-hatian ng team
Mga key pool at fair-share quota
Kailangan mo ng local control sa routing data
Local-first na storage na may encrypted na credential
Walang visibility sa gastos o health
Analytics ng usage, quota, tipid at latency

Snapshot ng dokumentasyon

Paghahambing ng mga gateway

Mga capability na sinuri laban sa naka-link na dokumentasyon ng proyekto noong 2026-08-30.

CapabilityOmniRoute (bubukas sa bagong tab)9Router (bubukas sa bagong tab)LiteLLM (bubukas sa bagong tab)CLIProxyAPI (bubukas sa bagong tab)
Mga provider35240+100+8+ upstreams
Mga routing strategy193-tierretry / priorityround-robin / fill-first
Tiered fallback na may UIYesYesManual policyMulti-account
Token compression12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Snapshot ng pampublikong README at opisyal na dokumentasyon; i-verify ang mga naka-link na source bago magdesisyon sa pagbili o deployment.

Routing

Pumili ng auto route.

Gumamit ng ready-made na mode o pagsamahin ang 19 strategy ayon sa layuning mahalaga sa iyo.

Model · naka-enable ang fallbackautoBalanced default
OpenAI-compatible na request
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Ubusin ang subscription quota

Gamitin ang quota na mayroon ka na bago gumalaw sa mga bayad na API.

priority · fill-first

Ikalat ang load

I-balance ang traffic sa mga key at account para mabawasan ang rate-limit pressure.

weighted · round-robin · p2c · least-used · headroom

Pinakamura muna

I-route sa pinakamababang-gastos na eligible na target.

cost-optimized

Context-aware

Panatilihin ang mahahabang context sa mga model na kaya ito, pagkatapos i-relay kung kailangan.

context-relay · context-optimized · cache-optimized

Randomized

Ipamahagi ang eligible na traffic sa mga target.

random · strict-random

Adaptive scoring

Gumamit ng 15-factor na scoring, last-known-good at reset-aware na window.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Free-tier accounting

Nakalathalang free-tier capacity, deduplicated.

455 catalog entry ang na-deduplicate sa 40 recurring pool; tanging mga nakalathalang positibong budget ang pumapasok sa headline.

1.51B

Pinipigilan ng pool-deduped na accounting na mabilang nang higit sa isang beses ang mga shared quota. Nananatiling nakikita ang mga no-cap provider nang hindi pinalalaki ang kabuuang token. Checked 2026-08-30.

Tingnan ang kalkulasyon (bubukas sa bagong tab)
Recurring o keyless na free-forever provider56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Context compression

Bawasan ang eligible na token ng 15–95%.

Puwedeng i-compress ang tool output, paulit-ulit na context at bloated na structured data bago umabot sa model.

Nabawasan ang context ng 15–95% sa eligible na token

Bago: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Pagkatapos: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Parehong instruction. Mas kaunting context na babayaran.

Bago69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Pagkatapos19 tokens
sum all list items where value > 0

Composable na pipeline

  1. Session-Dedup
    Alisin ang content na naipadala na kanina sa session.
  2. CCR
    I-archive ang malalaking block at i-restore kung kailangan.
  3. Lite
    Maglapat ng konserbatibong lossless na cleanup.
  4. RTK
    I-filter at i-deduplicate ang command at tool output.
  5. Responses Tool Output
    I-compact ang Responses API tool payload.
  6. Headroom
    Maglapat ng reversible na tabular at structured-data compaction.
  7. Relevance
    Panatilihin ang mga pangungusap na pinaka-relevant sa pinakabagong query.
  8. Caveman
    Gumamit ng rule-based na prose condensation.
  9. Aggressive
    Maglapat ng mas malakas na naka-configure na pruning.
  10. LLMLingua-2
    Gumamit ng code-safe na semantic pruning sa isolated na worker.
  11. Ultra
    Pagsamahin ang high-savings na stage at preservation guard.
  12. OmniGlyph
    I-encode nang compact ang eligible na paulit-ulit na structure.

Mga profile

Nakalathalang profile range~30%x-omniroute-compression: standard

Napili ang Standard compression. Nakalathalang range ~30%.

Mga control at output style

  • Mga named profile at aktibong selector
  • Visual Compression Studio
  • Anthropic Context Editing
  • Adaptive na context-budget dial
  • Per-request na \
  • header
  • Offline eval harness
  • Token-threshold auto-trigger
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Precedence ng control: request header → combo → profile → adaptive policy → default.

Failure isolation

I-isolate ang mga failure ng provider, connection at model.

Hindi dapat pumatay ng provider ang isang sirang key. Hindi dapat pumatay ng connection ang isang limitadong model.

model ⊂ connection ⊂ provider
Provider circuit breakerKapag unhealthy ang isang provider, lalaktawan ito ng combo routing hanggang magtagumpay ang half-open probe.
Connection cooldownI-cool down ang isang key o account habang patuloy na nagse-serve ang mga sibling connection.
Model lockoutI-lock ang isang rate-limited o hindi available na model habang nananatiling available ang ibang model sa connection.

Mga network control

Network routing at mga local data control.

Kinokontrol ng mga proxy scope ang network routing habang pinananatili ng local-first na storage ang operational data sa machine mo.

Tatlong proxy scope

Mag-route nang global, per provider o per indibidwal na connection.

  • Global · per-provider · per-connection
  • SOCKS5 at HTTP(S) proxy
  • Integration sa proxy marketplace

Mga TLS at client fingerprint control

Itugma ang mga suportadong provider client hanggang sa piling transport characteristic.

  • JA3/JA4-capable na transport sa pamamagitan ng wreq-js
  • Provider-specific na client profile
  • Mga IPv4 at IPv6 egress control

Pribado at local-first

Nananatili sa host na kontrolado mo ang mga key, usage at history.

  • SQLite sa disk na may AES-256-GCM encrypted na credential
  • Hindi kailangan ng OmniRoute account
  • I-self-host sa infrastructure na pipiliin mo
RussiaChinaIranCubaTürkiye

Local dashboard

I-configure ang OmniRoute nang hindi nag-e-edit ng YAML.

Pamahalaan ang mga provider, combo, analytics, health at gastos sa localhost:20128/dashboard.

localhost:20128/dashboardHalimbawang data
352provider na nakakonekta
90+free tier na available
198healthy sa halimbawang ito
  • Claude Code · OAuth · live
  • Cerebras · libre · live
  • Groq · halimbawang cooldown
  • NVIDIA NIM · libre · live

Mga agent protocol

I-expose ang OmniRoute sa MCP at A2A.

Puwedeng i-expose ng OmniRoute ang gateway nito sa mga MCP client, A2A network at suportadong cloud coding agent.

MCP server

110 tool sa 33 scope sa pamamagitan ng stdio at HTTP transport.

110 tool · 33 scope · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

A2A server

6 skill para sa smart routing, quota, discovery, cost analysis at health reporting sa pamamagitan ng JSON-RPC 2.0.

6 skill · JSON-RPC 2.0 · Agent Card

Mga cloud agent

Ikonekta ang mga suportadong Codex, Cursor, Devin at Jules workflow sa pamamagitan ng isang orchestration surface.

Codex · Cursor · Devin · Jules

Mga karagdagang serbisyo

Palawakin ang gateway.

Mga embedded na serbisyo

Patakbuhin ang Bifrost, 9Router o CLIProxy bilang managed sidecar, o magpatakbo ng buong cluster profile.

Ang knowledge mo, sa context

Ikonekta ang Notion at Obsidian bilang MCP-backed na context source.

Built-in na guardrail

Prompt-injection check, opt-in na PII redaction at normalized na safety filter nang walang provider lock-in.

Mga usage goal

Subaybayan ang mga streak, achievement at live na tipid kasabay ng operational analytics.

Mula sa komunidad

Paano ginagamit at pinag-uusapan ang OmniRoute.

Tingnan kung ano ang binubuo, itinatanong at ibinabahagi ng mga developer sa X, Reddit at YouTube.

32 video mula sa 32 channelTingnan ang lahat ng 32 video ng komunidad

one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…
Image

25 posts from X · 25 Reddit postsTingnan ang bawat post

Binuo sa publiko

Aktibidad ng repository

Tingnan ang mga star, fork, contributor at release mula sa checked-in na GitHub snapshot.

OmniRoute by Cheaper Inference

Piliin kung paano mo patatakbuhin ang OmniRoute.

I-self-host ang OmniRoute, o magsimula sa Cheaper Inference para sa hosted na cost-ranked gateway.