Hackers' Pub

What is Hackers' Pub?

Hackers' Pub is a place for software engineers to share their knowledge and experience with each other. It's also an ActivityPub-enabled social network, so you can follow your favorite hackers in the fediverse and get their latest posts in your feed.

DrFed shared

洪:
洪 民憙 (Hong Minhee) :nonbinary:@hongminhee@hollo.social
·

ActivityPub.Academy was where many of us checked whether our activities actually arrived anywhere. Thanks Image@crepelsSebastian Jambor for running it so well for so long.

We're carrying that forward. Image@z9mb1Jiwon, Image@2chanhaeng초무 and I maintain Fedify, and with Image@gaebalgom개발곰 the four of us are building Image@drfed, a web platform for developing and debugging implementations, with NLnet NGI0 Commons Fund support.

Fediverse developers, we hope it earns a place in your toolkit: https://drfed.org/.

SJ
Sebastian Jambor@crepels@mastodon.social
·

ActivityPub.Academy is plagued by spam accounts posting hateful and illegal content. I hoped that deleting accounts after one day would prevent this, but I was mistaken. Since I don't have the time to moderate the instance, I unfortunately have to take it offline. I will think about ways to provide the academy in some other form. Until then, you can find the source code on github.com/sgrj/mastodon.

0
230
2
PY
PyTorchKR@pytorchkr@hackers.pub
·

uzu: Mac과 iPhone 앱에 내장해 로컬 LLM을 실행하는 Apple Silicon용 Rust 추론 엔진

핵심 요약

  • uzu는 런던의 Mirai가 MIT 라이선스로 공개한 Rust 추론 엔진으로, Swift, Python, TypeScript, Rust 앱 안에서 Mac과 iPhone의 GPU(Metal)로 LLM을 실행합니다.
  • 모델은 Mirai의 자체 형식으로 변환해서 써야 하며, Mirai가 Hugging Face에 올려 둔 4비트(Mirai-M)와 8비트(Mirai-L) 체크포인트는 모델 식별자 한 줄로 내려받아 바로 쓸 수 있습니다.
  • Mirai의 벤치마크 페이지에서 같은 자기회귀 방식끼리 비교하면 uzu의 출력 속도는 MLX보다 중앙값 기준 약 8% 빠른 수준이고, 4배 안팎의 큰 격차는 일부 모델에서 M5 이후 칩 기준으로만 측정된 자체 추측 디코딩에서 나옵니다.
  • 배포 패키지는 Apple 기기 전용이며(S...
Image

uzu: Mac과 iPhone 앱에 내장해 로컬 LLM을 실행하는 Apple Silicon용 Rust 추론 엔진

핵심 요약 uzu는 런던의 Mirai가 MIT 라이선스로 공개한 Rust 추론 엔진으로, Swift, Python, TypeScript, Rust 앱 안에서 Mac과 iPhone의 GPU(Metal)로 LLM을 실행합니다. 모델은 Mirai의 자체 형식으로 변환해서 써야 하며, Mirai가 Hugging Face에 올려 둔 4비트(Mirai-M)와 8비트(Mirai-L) 체크포인트는 모델 식별자 한 줄로 내려받아 바로 쓸 수 있습니다. Mirai의 벤치마크 페이지에서 같은 자기회귀 방식끼리 비교하면 uzu의 출력 속도는 MLX보다 중앙값 기준 약 8% 빠른 수준이고, 4배 안팎의 큰 격차는 일부 모델에서 M5 이후 칩 기준으로만 측정된 자체 추측 디코딩에서 나옵니다. 배포 패키지는 Apple 기기 전용이며(Swift 패키지는 macOS와 iOS 26.4 이상, 파이썬 휠은 macOS 26 이상), 고수준 API 크레이트 대부분이 저장소에서 재작성 대상(legacy)으로 분류되어 있...

discuss.pytorch.kr·PyTorchKR

0
00
0