Core control
Panatilihing tumatakbo ang mga request
Kapag hindi available o ubos na ang quota ng isang target, pipili ang OmniRoute ng susunod na healthy na target.
Mag-route sa 352 provider sa pamamagitan ng isang OpenAI-compatible na endpoint, may automatic fallback.
OmniRoute × Cheaper Inference
Pagsamahin ang automatic fallback at developer tool ng OmniRoute sa cost-ranked marketplace ng Cheaper Inference. Nagsisimula ang bawat eligible na request sa pinakamurang available na provider route.
| Model | Presyo ng input | Presyo ng output | Tipid | Context | Mga detalye |
|---|---|---|---|---|---|
| gpt-5.6-terraOpenAI · text | 60% off | 1.1M | |||
| gpt-oss-120bOpenAI · text | 60% off | 131K | |||
| deepseek-v4.1-flashDeepSeek · text | 50% off | 1.0M | |||
| gpt-5.6-solOpenAI · text | 50% off | 1.1M | |||
| glm-4.5Z.ai · text | 45% off | 128K | |||
| glm-4.5-airZ.ai · text | 45% off | 128K | |||
| glm-4.6Z.ai · text | 45% off | 198K | |||
| glm-4.7Z.ai · text | 45% off | 128K |
Mga pangunahing control
Core control
Kapag hindi available o ubos na ang quota ng isang target, pipili ang OmniRoute ng susunod na healthy na target.
Core control
Isang pipeline na may 12 engine ang nagbabawas ng eligible na context ng 15–95%. Ang dokumentadong tool-heavy na halimbawa ay nabawasan ng ~89%.
Core control
90+ free tier at 56 recurring o keyless na free-forever provider. Hindi kailangan ng credit card para sa keyless na quick start.
Core control
I-configure ang Claude Code, Codex, Cursor, Cline, Copilot, Antigravity at iba pang suportadong client sa pamamagitan ng isang endpoint.
Core control
Tumatanggap ng OpenAI, Claude, Gemini at Responses API request sa /v1.
Core control
Kasama sa self-hosted gateway ang circuit breaker, encrypted na credential, MCP, A2A, memory, guardrail at eval.
Ang catalog
Isang catalog na sumasaklaw sa chat, media, search, local runtime, cloud agent at system integration.
352 provider+
Lahat sila, sa likod ng isang local endpoint.
Ang isang endpoint na tinuturo ng bawat clienthttp://localhost:20128/v1
Quick start
I-install ang package, ilunsad ang gateway, pagkatapos ituro ang anumang OpenAI-compatible na client sa port 20128.
I-install ang omniroute npm package nang global.
$ npm install -g omnirouteadded 1 package
Ilunsad ang API at dashboard nang magkasama sa port 20128.
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128
Gamitin ang http://localhost:20128/v1; gumagana ang keyless auto route sa bagong install.
$ curl localhost:20128/v1/models✓ models listed
Mga gateway control
I-configure ang fallback, quota, compression, memory, MCP at A2A mula sa local dashboard.
Gateway control
I-set ang model sa auto o bumuo ng sarili mong combo gamit ang 19 strategy at tiered fallback.
Gumamit ng ready-made na mode o pagsamahin ang 19 strategy ayon sa layuning mahalaga sa iyo.
Gateway control
Persistent na conversational memory na may FTS5 keyword at Qdrant vector recall.
Gateway control
Ang provider breaker, connection cooldown at model lockout ay nag-isolate ng mga failure sa pinakamaliit na kapaki-pakinabang na scope.
Gateway control
Pool-deduped na accounting sa 90+ free tier.
Nakalathalang free-tier capacity, deduplicated.
Gateway control
12 composable na engine para sa tool output, context at response style.
Bawasan ang eligible na token ng 15–95%.
Gateway control
Isang built-in na server na naglalantad ng 110 gateway tool sa 33 scope.
110 tool · 33 scope · stdio / HTTP
Gateway control
Isang JSON-RPC agent server na may 6 skill.
6 skill · JSON-RPC 2.0 · Agent Card
Gateway control
Puwedeng bumalik mula sa cache ang paulit-ulit na request, at iniuulat ng response header kung ano ang natipid.
X-OmniRoute-Cache: HIT
Client compatibility
Ituro ang OpenAI-compatible na CLI o editor sa isang local base URL; hahawakan ng OmniRoute ang mga provider sa likod nito.
http://localhost:20128/v1
curl http://localhost:20128/v1/chat/completions \
-H "Authorization: Bearer $OMNIROUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'OmniCopilot
Idinadagdag ng OmniCopilot ang mga OmniRoute model sa kasalukuyang model picker.
Gumagana sa VS Code stable at Insiders. I-install mula sa Marketplace o Extensions view.
Para sa Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod at iba pang compatible na editor.
Puwedeng tumakbo ang mga provider model sa pamamagitan ng OmniRoute sa Copilot Chat nang hindi dumadaan ang inference sa Copilot plan.
Mga karaniwang failure mode
Tingnan kung aling control ang tumutugon sa bawat karaniwang failure mode.
Snapshot ng dokumentasyon
Mga capability na sinuri laban sa naka-link na dokumentasyon ng proyekto noong 2026-08-30.
| Capability | OmniRoute (bubukas sa bagong tab) | 9Router (bubukas sa bagong tab) | LiteLLM (bubukas sa bagong tab) | CLIProxyAPI (bubukas sa bagong tab) |
|---|---|---|---|---|
| Mga provider | 352 | 40+ | 100+ | 8+ upstreams |
| Mga routing strategy | 19 | 3-tier | retry / priority | round-robin / fill-first |
| Tiered fallback na may UI | Yes | Yes | Manual policy | Multi-account |
| Token compression | 12 engines · 15–95% | RTK / Headroom / Caveman | No built-in pipeline | HTTP compression |
| Capability | OmniRoute (bubukas sa bagong tab) | 9Router (bubukas sa bagong tab) | LiteLLM (bubukas sa bagong tab) | CLIProxyAPI (bubukas sa bagong tab) |
|---|---|---|---|---|
| Built-in na MCP server | 110 gateway tools | No | MCP client / gateway | No |
| A2A protocol | Server · 6 skills | No | A2A client / gateway | No |
| Mga cloud agent | Codex / Cursor / Devin / Jules | No | No | Sidecar integrations |
| Capability | OmniRoute (bubukas sa bagong tab) | 9Router (bubukas sa bagong tab) | LiteLLM (bubukas sa bagong tab) | CLIProxyAPI (bubukas sa bagong tab) |
|---|---|---|---|---|
| Mga failure-isolation layer | 3: provider / connection / model | Cooldown | Cooldown / retry | Cooldown |
| Persistent na memory | FTS5 + vector | No | Semantic cache | No |
| Mga guardrail | PII / injection / vision | No | Yes | Cloaking controls |
| Eval framework | Built in | No | No | No |
| Mga TLS fingerprint control | wreq-js | No | No | uTLS |
| Capability | OmniRoute (bubukas sa bagong tab) | 9Router (bubukas sa bagong tab) | LiteLLM (bubukas sa bagong tab) | CLIProxyAPI (bubukas sa bagong tab) |
|---|---|---|---|---|
| Dashboard stack | Next.js 16 | Next.js 16 | Next.js | Next.js / React |
| Mga UI locale | 38 | 10 | Not documented | 3 |
| Mga OAuth provider | 25 | 6 | SSO | CLI auth |
| Puwedeng i-self-host | Yes | Yes | Yes | Yes |
| Lisensya | MIT | MIT | MIT + enterprise | MIT |
Snapshot ng pampublikong README at opisyal na dokumentasyon; i-verify ang mga naka-link na source bago magdesisyon sa pagbili o deployment.
Deployment
I-install ito sa laptop, server o phone, o kumonekta sa pamamagitan ng suportadong editor at plugin.
Isang command sa anumang suportadong desktop OS
npm install -g omnirouteBuksan ang gabay (bubukas sa bagong tab)Multi-arch na AMD64 at ARM64 image
docker run … diegosouzapw/omnirouteBuksan ang gabay (bubukas sa bagong tab)Native na window at system tray sa Windows, macOS at Linux
npm run electron:buildBuksan ang gabay (bubukas sa bagong tab)Raspberry Pi, ARM server at Apple Silicon
native arm64Tumatakbo sa Android nang walang root
pkg install nodejs && npx -y omnirouteBuksan ang gabay (bubukas sa bagong tab)Fullscreen, offline-ready at puwedeng i-install mula sa browser
Add to Home ScreenBuksan ang gabay (bubukas sa bagong tab)Native na OpenCode provider plugin
@omniroute/opencode-providerBuksan ang gabay (bubukas sa bagong tab)Mga OmniRoute model sa Copilot Chat picker
Install OmniCopilotBuksan ang gabay (bubukas sa bagong tab)I-hack ito at mag-contribute
npm install && npm run devBuksan ang gabay (bubukas sa bagong tab)Routing
Gumamit ng ready-made na mode o pagsamahin ang 19 strategy ayon sa layuning mahalaga sa iyo.
autoBalanced defaultcurl http://localhost:20128/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'Routing alias auto selected. Objective: Balanced default. Fallback enabled.
Gamitin ang quota na mayroon ka na bago gumalaw sa mga bayad na API.
priority · fill-firstI-balance ang traffic sa mga key at account para mabawasan ang rate-limit pressure.
weighted · round-robin · p2c · least-used · headroomI-route sa pinakamababang-gastos na eligible na target.
cost-optimizedPanatilihin ang mahahabang context sa mga model na kaya ito, pagkatapos i-relay kung kailangan.
context-relay · context-optimized · cache-optimizedIpamahagi ang eligible na traffic sa mga target.
random · strict-randomGumamit ng 15-factor na scoring, last-known-good at reset-aware na window.
reset-window · reset-aware · lkgp · auto · fusion · pipelineFree-tier accounting
455 catalog entry ang na-deduplicate sa 40 recurring pool; tanging mga nakalathalang positibong budget ang pumapasok sa headline.
1.51B
Pinipigilan ng pool-deduped na accounting na mabilang nang higit sa isang beses ang mga shared quota. Nananatiling nakikita ang mga no-cap provider nang hindi pinalalaki ang kabuuang token. Checked 2026-08-30.
Tingnan ang kalkulasyon (bubukas sa bagong tab)Context compression
Puwedeng i-compress ang tool output, paulit-ulit na context at bloated na structured data bago umabot sa model.
Nabawasan ang context ng 15–95% sa eligible na tokentoken
Bago: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Pagkatapos: sum all list items where value > 0
Parehong instruction. Mas kaunting context na babayaran.
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.sum all list items where value > 0x-omniroute-compression: standardNapili ang Standard compression. Nakalathalang range ~30%.
Precedence ng control: request header → combo → profile → adaptive policy → default.
Failure isolation
Hindi dapat pumatay ng provider ang isang sirang key. Hindi dapat pumatay ng connection ang isang limitadong model.
Mga network control
Kinokontrol ng mga proxy scope ang network routing habang pinananatili ng local-first na storage ang operational data sa machine mo.
Mag-route nang global, per provider o per indibidwal na connection.
Itugma ang mga suportadong provider client hanggang sa piling transport characteristic.
Nananatili sa host na kontrolado mo ang mga key, usage at history.
Local dashboard
Pamahalaan ang mga provider, combo, analytics, health at gastos sa localhost:20128/dashboard.
Mga agent protocol
Puwedeng i-expose ng OmniRoute ang gateway nito sa mga MCP client, A2A network at suportadong cloud coding agent.
110 tool sa 33 scope sa pamamagitan ng stdio at HTTP transport.
110 tool · 33 scope · stdio / HTTP
claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream6 skill para sa smart routing, quota, discovery, cost analysis at health reporting sa pamamagitan ng JSON-RPC 2.0.
6 skill · JSON-RPC 2.0 · Agent Card
Ikonekta ang mga suportadong Codex, Cursor, Devin at Jules workflow sa pamamagitan ng isang orchestration surface.
Codex · Cursor · Devin · Jules
Mga karagdagang serbisyo
Patakbuhin ang Bifrost, 9Router o CLIProxy bilang managed sidecar, o magpatakbo ng buong cluster profile.
Ikonekta ang Notion at Obsidian bilang MCP-backed na context source.
Prompt-injection check, opt-in na PII redaction at normalized na safety filter nang walang provider lock-in.
Subaybayan ang mga streak, achievement at live na tipid kasabay ng operational analytics.
Mula sa komunidad
Tingnan kung ano ang binubuo, itinatanong at ibinabahagi ng mga developer sa X, Reddit at YouTube.
32 video mula sa 32 channelTingnan ang lahat ng 32 video ng komunidad
I've been experimenting with Kiro Pro, and I found a setup that gives me the Claude Code CLI experience while using my Kiro subscription.
Been 3 days with omniroute and it is amazing.
25 posts from X · 25 Reddit postsTingnan ang bawat post
Binuo sa publiko
Tingnan ang mga star, fork, contributor at release mula sa checked-in na GitHub snapshot.
Snapshot mula 2026-09-30
Chat, support at roadmap
(bubukas sa bagong tab)Balita at mga anunsyo
(bubukas sa bagong tab)Pandaigdigang komunidad
(bubukas sa bagong tab)Comunidade Brasil
(bubukas sa bagong tab)OmniRoute by Cheaper Inference
I-self-host ang OmniRoute, o magsimula sa Cheaper Inference para sa hosted na cost-ranked gateway.