ImageOmniRouteby Cheaper Inference
OmniRoute kini sebahagian daripada Cheaper InferenceTerokai Cheaper Inference

Router AI Sumber Terbuka #1

Halakan permintaan ke 352 pembekal melalui satu endpoint serasi OpenAI, dengan fallback automatik.

Cuba Cheaper InferenceHos sendiri OmniRoute (dibuka dalam tab baharu)
Serasi OpenAI Percuma dan sumber terbuka71.6k bintang (dibuka dalam tab baharu)

OmniRoute × Cheaper Inference

Gabungkan fallback automatik dan alat pembangun OmniRoute dengan pasaran Cheaper Inference yang disusun mengikut kos. Setiap permintaan yang layak bermula dengan laluan pembekal termurah yang tersedia.

72 modelHarga senarai langsung dibandingkan dengan harga Cheaper Inference
Harga senarai langsung dibandingkan dengan harga Cheaper Inference mengikut model
ModelHarga inputHarga outputPenjimatanKonteksButiran
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokensJimat 60%1.1M
gpt-oss-120bOpenAI · text$0.10$0.04/ 1M tokens$0.50$0.20/ 1M tokensJimat 60%131K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokensJimat 50%1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokensJimat 50%1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensJimat 45%128K
glm-4.5-airZ.ai · text$0.20$0.11/ 1M tokens$1.10$0.605/ 1M tokensJimat 45%128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensJimat 45%198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensJimat 45%128K
Menunjukkan 8 daripada 72 model
Harga senarai langsung → harga Cheaper Inference · Lihat semua model · Lihat katalog langsung (dibuka dalam tab baharu)Harga disemak 30 Sep 2026, 3:15 PTG UTC. Kadar boleh berubah apabila harga upstream atau laluan yang tersedia berubah.

Kawalan teras

Satu endpoint untuk semua pembekal yang anda konfigurasi.

Core control

Pastikan permintaan terus berjalan

Apabila sasaran tidak tersedia atau kuotanya habis, OmniRoute memilih sasaran sihat yang seterusnya.

Core control

Mampatkan konteks yang layak

Saluran 12 enjin mengurangkan konteks yang layak sebanyak 15–95%. Contoh berat alat yang didokumenkan mengurangkannya sebanyak ~89%.

Core control

$0 untuk bermula

90+ tier percuma dan 56 pembekal percuma selamanya yang berulang atau tanpa kunci. Tiada kad kredit diperlukan untuk mula pantas tanpa kunci.

Core control

35 integrasi disokong

Konfigurasi Claude Code, Codex, Cursor, Cline, Copilot, Antigravity dan klien lain yang disokong melalui satu endpoint.

Core control

Satu endpoint

Terima permintaan OpenAI, Claude, Gemini dan Responses API di /v1.

Core control

Kawalan operasi

Pemutus litar, kelayakan disulitkan, MCP, A2A, memori, guardrail dan eval disertakan bersama gateway hos sendiri.

Katalog

Semuanya di sebalik satu endpoint.

Katalog yang merangkumi sembang, media, carian, runtime lokal, ejen awan dan integrasi sistem.

352 pembekal

Setiap satunya, di sebalik satu endpoint lokal.

Satu endpoint yang dituju oleh setiap klienhttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
ImageOpenAIImageAnthropicImageGoogleImageDeepSeekImagexAIImageZ.aiImageMoonshotImageMiniMaxImageAlibabaImageMetaImageBytedanceImageAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233Kunci APIOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Kuki webChatGPT Web, Claude Web, Gemini Web, Grok Web…
14LokalOllama, LM Studio, vLLM, llama.cpp…
13Tanpa pengesahanOpenCode Free, Felo, Pollinations dan laluan tanpa kunci yang lain…
Terokai rujukan pembekal (opens in a new tab)

Mula pantas

Pasang, jalankan, sambung.

Pasang pakej, lancarkan gateway, kemudian halakan mana-mana klien serasi OpenAI ke port 20128.

Katalog pembekal
352
Strategi penghalaan
19
Endpoint lokal
:20128/v1

Step 1: Pasang

Pasang pakej npm omniroute secara global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Jalankan

Lancarkan API dan papan pemuka serentak pada port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Sambungkan alat anda

Gunakan http://localhost:20128/v1; laluan auto tanpa kunci berfungsi pada pemasangan baharu.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Kawalan gateway

Kawalan gateway teras dalam satu proses.

Konfigurasi fallback, kuota, pemampatan, memori, MCP dan A2A dari papan pemuka lokal.

Gateway control

Kombo Pintar

Tetapkan model kepada auto atau bina kombo sendiri dengan 19 strategi dan fallback bertingkat.

Gunakan mod sedia ada atau gabungkan 19 strategi mengikut matlamat yang penting.

Gateway control

Memori

Memori perbualan berterusan dengan kata kunci FTS5 dan ingatan semula vektor Qdrant.

Gateway control

Ketahanan 3 lapisan

Pemutus pembekal, cooldown sambungan dan sekatan model mengasingkan kegagalan pada skop terkecil yang berguna.

Gateway control

Kuota percuma

Perakaunan tanpa pendua kolam merentas 90+ tier percuma.

Kapasiti tier percuma yang diterbitkan, tanpa pendua.

Gateway control

Pemampatan

12 enjin boleh gabung untuk output alat, konteks dan gaya respons.

Kurangkan token yang layak sebanyak 15–95%.

Gateway control

Pelayan MCP

Pelayan terbina dalam yang mendedahkan 110 alat gateway merentas 33 skop.

110 alat · 33 skop · stdio / HTTP

Gateway control

Protokol A2A

Pelayan ejen JSON-RPC dengan 6 kemahiran.

6 kemahiran · JSON-RPC 2.0 · Agent Card

Gateway control

Cache semantik

Permintaan berulang boleh dijawab dari cache, dan header respons melaporkan apa yang dijimatkan.

X-OmniRoute-Cache: HIT

Keserasian klien

Kekalkan alat pengekodan sedia ada anda.

Halakan CLI atau editor serasi OpenAI ke satu URL asas lokal; OmniRoute mengurus pembekal di belakangnya.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Gunakan model OmniRoute dalam Copilot Chat.

OmniCopilot menambah model OmniRoute ke pemilih model sedia ada.

Marketplace Rasmi

Berfungsi dalam VS Code stable dan Insiders. Pasang dari Marketplace atau paparan Extensions.

Open VSX Registry

Untuk Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod dan editor serasi yang lain.

Tiada pelan Copilot diperlukan

Model pembekal boleh berjalan melalui OmniRoute dalam Copilot Chat tanpa menghalakan inferens melalui pelan Copilot.

VS Code Marketplace (dibuka dalam tab baharu)Open VSX Registry (dibuka dalam tab baharu)OmniCopilot source (dibuka dalam tab baharu)

Mod kegagalan biasa

Kenapa OmniRoute

Lihat kawalan yang menangani setiap mod kegagalan biasa.

Without routing
With OmniRoute
Kuota tamat tanpa digunakan
Jejak dan habiskan peruntukan yang anda sudah ada
Had kadar menghentikan anda di tengah tugas
Fallback auto 4 tingkat dalam milisaat
Output alat membazirkan token
Pemampatan 12 enjin, 15–95% pada kandungan yang layak
API mahal semakin bertambah
Penghalaan dioptimumkan kos boleh memilih sasaran layak yang termurah
Setiap alat perlukan persediaan sendiri
Satu endpoint dan satu papan pemuka
Pembekal tidak boleh dicapai dari rangkaian anda
Skop proksi dan kawalan cap jari klien
Satu kunci mati melumpuhkan pembekal
Pemutus, cooldown dan sekatan mengasingkan kegagalan
Satu pasukan berkongsi satu langganan
Kolam kunci dan kuota kongsi saksama
Anda perlukan kawalan lokal atas data penghalaan
Storan mengutamakan lokal dengan kelayakan disulitkan
Tiada keterlihatan perbelanjaan atau kesihatan
Analitik penggunaan, kuota, penjimatan dan latensi

Petikan dokumentasi

Bagaimana gateway dibandingkan

Keupayaan disemak berdasarkan dokumentasi projek yang dipautkan pada 2026-08-30.

KeupayaanOmniRoute (dibuka dalam tab baharu)9Router (dibuka dalam tab baharu)LiteLLM (dibuka dalam tab baharu)CLIProxyAPI (dibuka dalam tab baharu)
Pembekal35240+100+8+ upstreams
Strategi penghalaan193-tierretry / priorityround-robin / fill-first
Fallback bertingkat dengan UIYesYesManual policyMulti-account
Pemampatan token12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Petikan README awam dan dokumentasi rasmi; sahkan sumber yang dipautkan sebelum membuat keputusan pembelian atau penempatan.

Penempatan

9 cara disokong untuk menjalankan OmniRoute.

Pasang pada komputer riba, pelayan atau telefon, atau sambung melalui editor dan pemalam yang disokong.

npm

Satu perintah pada mana-mana OS desktop yang disokong

npm install -g omnirouteBuka panduan (dibuka dalam tab baharu)

Docker

Imej berbilang seni bina AMD64 dan ARM64

docker run … diegosouzapw/omnirouteBuka panduan (dibuka dalam tab baharu)

Desktop

Tetingkap natif dan dulang sistem pada Windows, macOS dan Linux

npm run electron:buildBuka panduan (dibuka dalam tab baharu)

ARM

Raspberry Pi, pelayan ARM dan Apple Silicon

native arm64

Android · Termux

Berjalan pada Android tanpa root

pkg install nodejs && npx -y omnirouteBuka panduan (dibuka dalam tab baharu)

PWA

Skrin penuh, sedia luar talian dan boleh dipasang dari pelayar

Add to Home ScreenBuka panduan (dibuka dalam tab baharu)

OpenCode plugin

Pemalam pembekal OpenCode natif

@omniroute/opencode-providerBuka panduan (dibuka dalam tab baharu)

VS Code

Model OmniRoute dalam pemilih Copilot Chat

Install OmniCopilotBuka panduan (dibuka dalam tab baharu)

From source

Ubah suai dan sumbang

npm install && npm run devBuka panduan (dibuka dalam tab baharu)

Penghalaan

Pilih laluan auto.

Gunakan mod sedia ada atau gabungkan 19 strategi mengikut matlamat yang penting.

Model · fallback diaktifkanautoBalanced default
Permintaan serasi OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Habiskan kuota langganan

Gunakan kuota yang anda sudah ada sebelum menyentuh API berbayar.

priority · fill-first

Agihkan beban

Imbangkan trafik merentas kunci dan akaun untuk mengurangkan tekanan had kadar.

weighted · round-robin · p2c · least-used · headroom

Termurah dahulu

Halakan ke sasaran layak dengan kos terendah.

cost-optimized

Sedar konteks

Kekalkan konteks panjang pada model yang muat, kemudian pindahkan apabila perlu.

context-relay · context-optimized · cache-optimized

Rawak

Agihkan trafik yang layak merentas sasaran.

random · strict-random

Pemarkahan adaptif

Gunakan pemarkahan 15 faktor, last-known-good dan tetingkap sedar tetapan semula.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Perakaunan tier percuma

Kapasiti tier percuma yang diterbitkan, tanpa pendua.

455 entri katalog dinyahpendua kepada 40 kolam berulang; hanya bajet positif yang diterbitkan menyumbang kepada angka utama.

1.51B

Perakaunan tanpa pendua kolam mengelakkan kuota kongsi dikira lebih daripada sekali. Pembekal tanpa had kekal kelihatan tanpa membesarkan jumlah token. Checked 2026-08-30.

Lihat pengiraan (dibuka dalam tab baharu)
Pembekal percuma selamanya yang berulang atau tanpa kunci56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Pemampatan konteks

Kurangkan token yang layak sebanyak 15–95%.

Output alat, konteks berulang dan data berstruktur yang bengkak boleh dimampatkan sebelum sampai ke model.

Konteks dikurangkan daripada 15–95% pada token yang layak

Sebelum: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Selepas: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Arahan yang sama. Kurang konteks untuk dibayar.

Sebelum69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Selepas19 tokens
sum all list items where value > 0

Saluran boleh gabung

  1. Session-Dedup
    Buang kandungan yang sudah dihantar lebih awal dalam sesi.
  2. CCR
    Arkibkan blok besar dan pulihkan atas permintaan.
  3. Lite
    Gunakan pembersihan tanpa kehilangan yang konservatif.
  4. RTK
    Tapis dan nyahpendua output perintah dan alat.
  5. Responses Tool Output
    Padatkan muatan alat Responses API.
  6. Headroom
    Gunakan pemadatan data tabular dan berstruktur yang boleh dipulihkan.
  7. Relevance
    Kekalkan ayat yang paling relevan dengan pertanyaan terkini.
  8. Caveman
    Gunakan pemadatan prosa berasaskan peraturan.
  9. Aggressive
    Gunakan pemangkasan lebih kuat yang dikonfigurasi.
  10. LLMLingua-2
    Gunakan pemangkasan semantik selamat kod dalam pekerja terasing.
  11. Ultra
    Gabungkan peringkat penjimatan tinggi dengan pengawal pemeliharaan.
  12. OmniGlyph
    Kodkan struktur berulang yang layak secara padat.

Profil

Julat profil yang diterbitkan~30%x-omniroute-compression: standard

Pemampatan Standard dipilih. Julat diterbitkan ~30%.

Kawalan dan gaya output

  • Profil bernama dan pemilih aktif
  • Visual Compression Studio
  • Anthropic Context Editing
  • Dail bajet konteks adaptif
  • Setiap permintaan \
  • header
  • Harness eval luar talian
  • Pencetus auto ambang token
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Keutamaan kawalan: header permintaan → kombo → profil → polisi adaptif → lalai.

Pengasingan kegagalan

Asingkan kegagalan pembekal, sambungan dan model.

Kunci yang rosak tidak sepatutnya melumpuhkan pembekal. Model yang dihadkan tidak sepatutnya melumpuhkan sambungan.

model ⊂ sambungan ⊂ pembekal
Pemutus litar pembekalApabila pembekal tidak sihat, penghalaan kombo melangkaunya sehingga probe separuh buka berjaya.
Cooldown sambunganRehatkan satu kunci atau akaun sementara sambungan lain terus melayan.
Sekatan modelSekat satu model yang dihadkan kadar atau tidak tersedia sementara model lain pada sambungan itu kekal tersedia.

Kawalan rangkaian

Penghalaan rangkaian dan kawalan data lokal.

Skop proksi mengawal penghalaan rangkaian sementara storan mengutamakan lokal menyimpan data operasi pada mesin anda.

Tiga skop proksi

Halakan secara global, mengikut pembekal atau mengikut sambungan individu.

  • Global · setiap pembekal · setiap sambungan
  • Proksi SOCKS5 dan HTTP(S)
  • Integrasi pasaran proksi

Kawalan cap jari TLS dan klien

Padankan klien pembekal yang disokong hingga ke ciri pengangkutan terpilih.

  • Pengangkutan berkeupayaan JA3/JA4 melalui wreq-js
  • Profil klien khusus pembekal
  • Kawalan egres IPv4 dan IPv6

Peribadi dan mengutamakan lokal

Kunci, penggunaan dan sejarah kekal pada hos yang anda kawal.

  • SQLite pada cakera dengan kelayakan disulitkan AES-256-GCM
  • Tiada akaun OmniRoute diperlukan
  • Hos sendiri pada infrastruktur pilihan anda
RusiaChinaIranCubaTürkiye

Papan pemuka lokal

Konfigurasi OmniRoute tanpa menyunting YAML.

Urus pembekal, kombo, analitik, kesihatan dan kos di localhost:20128/dashboard.

localhost:20128/dashboardData contoh
352pembekal disambungkan
90+tier percuma tersedia
198sihat dalam contoh ini
  • Claude Code · OAuth · aktif
  • Cerebras · percuma · aktif
  • Groq · contoh cooldown
  • NVIDIA NIM · percuma · aktif

Protokol ejen

Dedahkan OmniRoute melalui MCP dan A2A.

OmniRoute boleh mendedahkan gateway-nya kepada klien MCP, rangkaian A2A dan ejen pengekodan awan yang disokong.

Pelayan MCP

110 alat merentas 33 skop melalui pengangkutan stdio dan HTTP.

110 alat · 33 skop · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

Pelayan A2A

6 kemahiran untuk penghalaan pintar, kuota, penemuan, analisis kos dan pelaporan kesihatan melalui JSON-RPC 2.0.

6 kemahiran · JSON-RPC 2.0 · Agent Card

Ejen awan

Sambungkan aliran kerja Codex, Cursor, Devin dan Jules yang disokong melalui satu permukaan orkestrasi.

Codex · Cursor · Devin · Jules

Perkhidmatan tambahan

Lanjutkan gateway.

Perkhidmatan terbenam

Jalankan Bifrost, 9Router atau CLIProxy sebagai sidecar terurus, atau kendalikan profil kluster penuh.

Pengetahuan anda, dalam konteks

Sambungkan Notion dan Obsidian sebagai sumber konteks disokong MCP.

Guardrail terbina dalam

Semakan suntikan prompt, penyuntingan PII pilihan dan penapis keselamatan ternormal tanpa terikat pada pembekal.

Matlamat penggunaan

Jejak streak, pencapaian dan penjimatan langsung bersama analitik operasi.

Daripada komuniti

Bagaimana OmniRoute digunakan dan dibincangkan.

Lihat apa yang pembangun bina, tanya dan kongsi di X, Reddit dan YouTube.

32 video daripada 32 saluranLihat semua 32 video komuniti

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…
Image

25 posts from X · 25 Reddit postsLihat semua siaran

Dibina secara terbuka

Aktiviti repositori

Lihat bintang, fork, penyumbang dan keluaran daripada petikan GitHub yang disimpan.

  • 10,203fork
  • 737penyumbang
  • 281keluaran dilancarkan
  • 7,924PR digabungkan
  • 4,504isu ditutup
  • 30,000ujian automatik

Petikan dari 2026-09-30

Discord

Sembang, sokongan dan pelan hala tuju

(dibuka dalam tab baharu)

Telegram

Berita dan pengumuman

(dibuka dalam tab baharu)

WhatsApp 🌍

Komuniti global

(dibuka dalam tab baharu)

WhatsApp 🇧🇷

Comunidade Brasil

(dibuka dalam tab baharu)
Kenali penyumbang (dibuka dalam tab baharu)

OmniRoute oleh Cheaper Inference

Pilih cara anda menjalankan OmniRoute.

Hos sendiri OmniRoute, atau mulakan dengan Cheaper Inference untuk gateway terhos yang disusun mengikut kos.

Cuba Cheaper Inference Hos sendiri OmniRoute (dibuka dalam tab baharu)