大家好,我是 Jason。
在 AI 赛道创业快四年了。
感谢新老客户这些年的托付。今天,Zaokit 算力私有化部署服务正式向全球开放。
独立服务站点同步上线:https://local.zaokit.app
在这里,你可以获取我的直接培训和优化指导。我把我在这四年里踩过的坑、算过的账、调过的模型参数倾囊相授,帮你挑出合脚的硬件方案,少走弯路。
昨天我在《多做好事:再次隆重介绍超级投资人仙道(金明)》里写过:商业博弈像打壁球,打出算计会反弹伤到自己,打出真诚与利他会在岁月高墙上反弹回信用资产。
今天起,Zaokit AI 的使命和价值观加上这条:多做好事。
Zaokit 算力私有化部署服务正式向全球开放:四年经验倾囊相授,少走弯路多做好事
关起门来部署的真实需求
在此之前,私有化部署没有公开挂牌,只在熟人圈子里口口相传。找上门来的客户主要有三类:外贸企业主、极客工作室、Old money。
这三类人生意不同,提的要求相同:数据留在自己屋檐下,算力随手调遣。
外贸企业主每天处理海外询盘、报价单、装箱单和合同。跨境邮件里写着底价、供应链工厂和付款条款。他们不敢把这些表格传进公有云,怕平台规则变动,怕账号被封,多年积攒的海外客户资料化为泡影。把一台静音主机往办公室角落一放,插上网线,全公司的邮件审核与多语言润色都在本地跑完,心里踏实。
极客工作室和独立开发者天天指挥 Agent 编程。从早到晚跑测试、改代码,每分钟都在吞吐 Token。他们受够了公有云 API 的频次限制与封号。半夜代码重构跑到半途,云端接口超时,上下文全毁。他们在桌上部署私有模型,本地跑出每秒几十 Token 的稳定吞吐,编辑器顺畅听使唤。
一些 Old money 家族掌管着跨代传承的账本、股权协议与私人信托。他们对隐私要求严格,提防任何外网传输。他们要物理隔绝:哪怕拔掉网线,桌上的机器依然能开机运行、盘点资产、推演方案。
此前我们把这套能力交付给这些小圈子。现在我们把验证过的架构端出来,面向全球需要私有生产力的人。
外贸企业主、极客工作室与家族办公室:不同场景,同一种数据底牌
三台设备的交付细节:代码、算盘与真实文件
工程交付全看记录。
前几天刚给一位客户做完私有化部署,8500 元服务费结算到账,账单上的交易说明写得清清楚楚:算力私有化服务。
前几天完成的一笔私有化部署收款单:8500 元,算力私有化服务
昨天,10 月 18 日,我们完成了《Zaokit AI 三机私有模型平台交付说明书 v1.1》的技术验收。
客户拿出了三台硬件设备:一台计算主机,两台协同计算节点。
硬件落地结构:
| 机器标识 | 设备定位 | 运行模型规格 | 部署角色 |
|---|---|---|---|
| 1号机 | 计算主机 | 27B 规格私有模型 | 统一网关、公网隧道、Codex 宿主、大模型推理 |
| 2号机 | 协同节点 | 9B 规格私有模型 | 专用内网转发、推理分流节点 |
| 3号机 | 协同节点 | 9B 规格私有模型 | 专用内网转发、推理分流节点 |
三台机器运行本地推理运行时,上下文窗口固定在 16,384 tokens。
1 号机承担统一网关 Zaokit AI Gateway,设立调用入口。2 号机和 3 号机通过专用加密连接挂在主机本地端口上。调用方使用一个公网 API 地址和一个 API Key,在请求参数里填入模型名称,网关分流至目标机器。
我们在 Cloudflare 上架设安全隧道,管理域名配置指定邮箱的验证码拦截,阻挡未授权访问。
计算主机协同分布式节点:内网专用链路互通,统一出口对外服务
交付不能在终端里敲一句“你好”就收工。
在 1 号机上,我们把 CC Switch 与 Codex 终端配置进系统,直接执行文件修改与算术核算任务。
三组订单文件任务:
- 普通订单核算:250 元 × 40 件 × 95% 折扣,计算得出 9500.00 元。
- 小数零散订单:19.99 元 × 13 件 × 90% 折扣,计算得出 233.88 元。
- 零数量订单:25 元 × 0 件 × 95% 折扣,计算得出 0.00 元。
Codex 启动本地工具,读入磁盘上的真实订单文件,在上下文里推理计算,把结果金额写进新文件,再用工具重新读回核对。
三个模型各自通过三项任务,九项测试全部通过。动刀修改文件,账目分毫不差。
性能实测:1 号机主机跑 27B 模型,短提示输出 33.48 TPS,长提示输入 33.06 TPS;协同节点跑 9B 模型,短提示输出 21.59 TPS 与 21.74 TPS。
系统细节上,我们把三台机器的应用文件跟官方原装安装包比对,核对 26,130 个文件和 39 个符号链接,缺失为零,修改为零,系统签名完好。两台 9B 模型恢复官方原始模板,借助独立配置控制日常直接作答,在 Codex 任务中按需开启思考。
私有化部署看重这些配置文件、权限设置和网络隧道,把每颗螺丝拧牢。
上线 local.zaokit.app:少走弯路,多做好事
私有化算力不是买几台电脑连上网线那么简单。
这几年我见过很多企业踩坑:
有人听信销售煽动,花几十万元买高配 GPU 服务器,放在办公室天天跳闸,风扇轰鸣像拖拉机,没人维护,最终变成落灰的铁箱。
有人从开源社区下载模型镜像,折腾两周,端口配错,驱动打架,权限混乱,重启一次就瘫痪。
有人配置私有接口,把管理密码和数据明文挂在公网上,门户大开。
在 https://local.zaokit.app 上,我们把四年交付经验整理成标准服务:
硬件按需配置。根据团队人数、每日 Token 消耗量、文件处理类型,计算硬件规格。桌面设备能解决的事情,不买昂贵的高配机架。
端到端全托管部署。涵盖 Unix 权限加固、模型权重加载、ZeroTier 内网穿透、统一 API 网关路由、Cloudflare 安全隧道以及 Codex 自动化工作流接入,附带交付文档。
一对一培训与调优指导。我亲自带你和你的团队上手,教你用 API 接入业务系统,给本地模型输入长文档,避开上下文溢出陷阱,让本地算力融入日常办公。
倾囊相授与利他复利:帮客户算清账,少走四年弯路
把踏实写进价值观
昨天写完仙道金明的故事,很多人跟我讨论那句“多做好事”。
做技术容易盯着参数,以为算力越大越厉害,跑分越高越值钱。
四年前我刚进 AI 赛道,也总想着追求炫酷的技术与风口。
走过四年,踩过许多坑,看惯了项目起落,我越发明白立身之本:
商业世界里最结实的护城河,是客户交出后背的信任。
给外贸老板搭系统,保住客户名单不出机房;给开发者搭环境,保住 Agent 任务半夜不掉线;给投资人算账,让他看清每一分钱换回多少产出。
不吹嘘效果,不诱导消费,不藏私。把四年摸爬滚打换来的经验摊在桌面上,帮你把生产力接进自己的业务里。
多做好事,把事情做扎实,时间自会给出答案。
想聊聊私有化算力,或者想给团队搭一套靠谱的本地模型平台,欢迎来坐坐:
官网:https://local.zaokit.app
欢迎通过官网直接预约咨询,获取适合你的私有化部署方案。