$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 askfermi 打赏,数额会 100% 进入 askfermi 的钱包。
askfermi's repos on GitHub
44 人关注
crosstalk-dataset
The Crosstalk Dataset
7 人关注
uzh-info2-cheatsheet
UZH Informatics-II Cheatsheet
JavaScript · 3 人关注
nsfw-filter
An Chrome Extension that automatically deletes porn images.
Python · 3 人关注
style-transfer
A Style Transfer in TensorFlow based on fast-neural-style-tensorflow
Jupyter Notebook · 2 人关注
covid-sentiment
Covid-19 Pandemic Sentiment Analysis of Twitter data
Python · 1 人关注
diversity-in-open-source
The Code for "Diversity in Open Source Software and its Impact on Code Quality"
Rust · 1 人关注
EurusDB
EurusDB is a self-learned database
Python · 1 人关注
IconBuilder
A Simple tool for building icons in different pixels
HTML · 1 人关注
ml
Questions about Machine Learning
HTML · 1 人关注
photo-stream
My Photos - Driven by Photo-Stream
Python · 1 人关注
pystitch
Python Binding for Pano Tools and Hugin
0 人关注
.github
Community health files for the @GitHub organization
Rust · 0 人关注
996.ICU
Repo for counting stars and contributing. Press F to pay respect to glorious developers.
Python · 0 人关注
adaptive_ml
Adaptive ML Experiments
0 人关注
AID
One-stop AIOps System.
Python · 0 人关注
area4
🚀 Dividers in Python, the easy way! (As seen on PyPI)
Python · 0 人关注
autokeras
accessible AutoML for deep learning.
0 人关注
awesome-ai-systems
AWESOME AI SYSTEMS
0 人关注
Awesome-ML
Awesome Machine Learning Resources
0 人关注
awesome-mlops
A curated list of references for MLOps
Python · 0 人关注
BitBLAS
BitBLAS is a library to support mixed-precision matrix multiplications, especially for quantized LLM deployment.
Python · 0 人关注
CapsNet-Tensorflow
A Tensorflow implementation of CapsNet(Capsules Net) in Hinton's paper Dynamic Routing Between Capsules
JavaScript · 0 人关注
cf-workers-status-page
Monitor your websites, showcase status including daily history, and get Slack/Telegram/Discord notification whenever your website status changes. Using Cloudflare Workers, CRON Triggers, and KV storage.
TypeScript · 0 人关注
chatbot-ui
The open-source AI chat interface for everyone.
0 人关注
cloud-comp-arch-project
Starter code for semester project in Cloud Computing Architecture course at ETH Zurich
Python · 0 人关注
CNNGestureRecognizer
Gesture recognition via CNN. Implemented in Keras + Theano + OpenCV
0 人关注
ConfNet
Config the Neural Network with a Configuration File
Vue · 0 人关注
covid-19
COVID-19 Stats and Prediction
HTML · 0 人关注
cvtron-status
PHP · 0 人关注
Database-Visualizer
An elegant tool for data visualization
0 人关注
dataperf
Data Benchmarking
Python · 0 人关注
datascope
Measuring data importance over ML pipelines using the Shapley value.
0 人关注
datasets
TFDS is a collection of datasets ready to use with TensorFlow, Jax, ...
0 人关注
dcbench
A benchmark of data-centric tasks from across the machine learning lifecycle.
Python · 0 人关注
deepfakes_faceswap
from deekfakes' faceswap: https://www.reddit.com/user/deepfakes/
Python · 0 人关注
deeplab_v3
Implementation of the Semantic Segmentation DeepLab_V3 CNN as described in: https://arxiv.org/pdf/1606.00915.pdf
JavaScript · 0 人关注
docs
My Documents
MDX · 0 人关注
documentation
Go · 0 人关注
easeml
A Scalable Auto-ML System
0 人关注
face-warehouse
An example warehouse with CVPM for storing facial features, recognizing faces and etc.
C++ · 0 人关注
FasterTransformer_GLM
Transformer related optimization, including BERT, GPT
0 人关注
fmengine
Utilities for Training Very Large Models
0 人关注
GAN-Papers
GAN papers
0 人关注
GoAuthentication
Serverless OAuth Login Tool
JavaScript · 0 人关注
gohttpserver
The best HTTP Static File Server, write with golang+vue
0 人关注
gosql
🐥The very simple ORM library for Golang
0 人关注
GSOC2020
Mozilla and GSOC 2020
0 人关注
hugo-book
Hugo documentation theme as simple as plain book
CSS · 0 人关注
hugo-hero-theme
hugo template for autoai landing
0 人关注
hypopg
Hypothetical Indexes for PostgreSQL
Vue · 0 人关注
iftwx
If XXX then wechat me!
Go · 0 人关注
imageserver
Image server toolkit in Go
0 人关注
lab
my utilities to run lab experiments
CSS · 0 人关注
leap-day
Leap day is a Jekyll theme for GitHub Pages
0 人关注
learned-index
6.867 Course Project
0 人关注
Learned-Index-Structures
Learned Index Structures
TeX · 0 人关注
lecture-notes
My Lecture Notes at ETH/UNI Zurich
JavaScript · 0 人关注
logo-generator
Mesos Framework logo generator
0 人关注
mamba
0 人关注
mctx
Monte Carlo tree search in JAX
0 人关注
mergekit
Tools for merging pretrained large language models.
MDX · 0 人关注
mintlify-docs
MDX · 0 人关注
mintlify-starter
0 人关注
mirage
A multi-level tensor algebra superoptimizer
0 人关注
mkdocs-material
Documentation that simply works
HTML · 0 人关注
ml-updates
0 人关注
mlcourse-solutions
Solutions for ML Course
0 人关注
mlmath
Math for Machine Learning
0 人关注
mlops.toys
🎲 A curated list of MLOps projects, tools and resources
Python · 0 人关注
MNIST_center_loss_pytorch
A Pytorch implementation of center loss on MNIST
Python · 0 人关注
model-verifier
Objective-C · 0 人关注
NewEBuy-master
suning_ebuy
Jupyter Notebook · 0 人关注
openke-review
Review OpenKE: Project for Semantic Web Engineering
C++ · 0 人关注
openpose
OpenPose: Real-time multi-person keypoint detection library for body, face, and hands estimation
C · 0 人关注
postgres
Mirror of the official PostgreSQL GIT repository. Note that this is just a *mirror* - we don't work with pull requests on github. To contribute, please see https://wiki.postgresql.org/wiki/Submitting_a_Patch
0 人关注
postgresml
PostgresML is an end-to-end machine learning system. It enables you to train models and make online predictions using only SQL, without your data ever leaving your favorite database.
Python · 0 人关注
praise
A Python implementation of Praise in R
0 人关注
psql-hooks
Unofficial documentation for PostgreSQL hooks.
Python · 0 人关注
pybrain
Spike Neural Network Framework
JavaScript · 0 人关注
Randomuser.me-Node
Source code that powers randomuser.me
0 人关注
reproducibility
Rust · 0 人关注
rustcv
0 人关注
shanshui
Shanshui
HTML · 0 人关注
sklearn-transforms-cloud
0 人关注
slidev-theme-zhozhoba
A zhozhoba theme for Slidev.
JavaScript · 0 人关注
sotaweb
Sota Research Web Application
0 人关注
Sparse-Marlin
0 人关注
sphinxcontrib-mermaid
Mermaid diagrams in yours sphinx powered docs
0 人关注
sqlmodel
SQL databases in Python, designed for simplicity, compatibility, and robustness.
0 人关注
starters
Railway starters
C++ · 0 人关注
tensorflow
Computation using data flow graphs for scalable machine learning
Go · 0 人关注
tg
Send Telegram Message After a long-rung shell command finish.
0 人关注
ThunderKittens
Tile primitives for speedy kernels
Python · 0 人关注
torchtune
A Native-PyTorch Library for LLM Fine-tuning
0 人关注
triton
Development repository for the Triton language and compiler
0 人关注
Up
Python · 0 人关注
VAMR-2020
VAMR 2020 at UZH/ETH.
0 人关注
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
0 人关注
VOC_to_COCO
最简单的VOC转COCO, 一条指令完整转换
askfermi

askfermi

V2EX 第 68592 号会员,加入于 2014-07-21 22:53:53 +08:00
根据 askfermi 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
askfermi 最近回复了
@ferock 有点像但也不完全一样,我的几个需求
1) 我希望能用自带的 model

2) 我希望能自己写一些固定的 workflow 来简化我的流程,我不需要全部都由 LLM 生成,我可以自己写一个 function 之类的给 LLM 来调用

3) 我不是很喜欢在 cli 对话这种体验( coding 当然没问题,但其他的任务感觉不是很必要),我希望能融入到我的 workflow 里,比如我可以 cat kubectl get pods | vibe run docqa -q "summarize what happened"。
122 天前
回复了 ota 创建的主题 服务器 gpu 服務器還有哪裏更便宜?
2024-02-16 20:02:16 +08:00
回复了 1F357 创建的主题 算法 求助估算队列剩余处理时间的问题
听起来像是 queuing theory 的问题,不过多个队列的问题没怎么研究过,可能可以用 queuing theory 作为关键词搜搜
2024-01-08 17:09:48 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lyang 我也想过这个方案,会有两个问题:1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性,会导致没办法期待完全一样的结果。
2024-01-08 17:08:41 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配,监控和其他的目前没实现,估计需要下一个大版本
2024-01-05 17:53:23 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nikola11 说的很对,这可能可以以后研究一下 :)
2024-01-05 17:51:56 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@sentinelK
1/ 虽然这个交互平台是中心化的,但 api 的接口(或者说在实际调用计算之前)是去中心化的。用户可以在本地跑一个节点,之后调用这个节点提供的 api ,并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ,让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外,其实商业化并不是这个项目的目标,我的目标是想知道在去中心化的情况下如何验证结果的正确性,如何合理的分配激励,如何调度计算资源等等。
3/ 目前没想到什么好办法,目前的想法是可以不断地对每个节点进行验证,每一个 request 可能被分配到 2 个以上的 node 上。
2024-01-05 16:39:00 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lithiumii 有点像,但 petals 太慢了
2024-01-05 16:25:43 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@peterchen26 没错,基本上就是这样
2024-01-05 16:25:25 +08:00
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nbndco 这确实是一个我也在尝试实现的问题,我目前的想法是:
- 编译过程里加一个签名,之后在注册到网络的时候需要提供这个签名,保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证,时不时验证返回的回复是不是正确的。

但目前我还没实现这个功能 :(
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   933 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 22:28 · PVG 06:28 · LAX 14:28 · JFK 17:28
♥ Do have faith in what you're doing.