Replies: 1 comment
-
FastDeploy部署很漂亮 秒部署不折腾不浪费时间![]() |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
🎉 令人兴奋的好消息:FastDeploy2.0强势上线!🔥
🥳 只需一行代码,即可完成跨硬件部署体验,提供类vLLM的接口使用方式,且服务API兼容OpenAI协议!
😻 对于ERNIE 4.5模型的部署,它提供了工业级的多机PD分离解决方案,并支持多级负载均衡、低比特量化推理、上下文缓存和投机解码等多种加速技术。
😎 在Tech report 的基础上,进一步优化了OTPS 使其高达21K!
💰依托本次升级,我们发起了基于FastDeploy 2.0的模型部署实测活动,并配备丰富奖励!即刻体验该高效大模型部署工具包吧!🔥
🎯 基础题:文心4.5系列开源模型部署实测
🧑💻 任务描述 基于飞桨FastDeploy2.0,将文心4.5系列开源模型中的任一模型部署为API服务,并通过API调用验证部署结果。
📕 官方文档 10分钟高效部署
💰 完成标准
第1步:部署完成后,API服务正常启动并且能够响应对话请求
第2步:完成下方投票
第3步:通过该问卷提交,注意将您所有的作业文件(py文件、日志、截图、blog地址等)上传至问卷最后一题(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:量化技术
🧑💻 量化任务1描述 给定长度为64的向量,计算L=4,N=3,S=2下平均每个权重所需要的bit,是否有冗余位?冗余位是多少?如果用uint8存储,压缩后的向量长度是多少?
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为定制骨瓷杯。
🧑💻 量化任务2描述 实现一版卷积编码解码的python实现:给定随机的一个数,通过移位和解码的方式,实现前文所述的L=4,N=3,S=2的解码。比如:给定一个数字217,解码后得到13,6,9三个数字
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为50-200元奖金。
🧑💻 量化任务3描述 实现一版Triton/cutlass Kernel,实现L=4,N=3,S=2/ L=6,N=4,S=3的解码。比如给定一个压缩后的权重,通过Kernel后可以实现可以还原会未压缩的大小
💰 完成标准 在问卷中提交习题序号和对应答案,本题奖品为50-200元奖金。
截止时间 2025年8月22日
🎯 自选题:多硬件部署
🧑💻 任务描述 基于飞桨FastDeploy2.0,在任一本地算力上完成任一开源大模型部署,并成功运行3个推理任务。
📕 官方文档 DOC
💰 完成标准 在问卷中提交日志、本地算力型号、部署成功截图、推理任务截图等(推理任务:发送Query请求,能返回正确结果。需要包含请求代码截图以及返回内容截图)(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:场景应用
🧑💻 任务描述 基于飞桨FastDeploy2.0,将任一开源大模型应用在工业、医疗、交通等你所在行业的应用场景
💰 完成标准 在问卷中提交简要技术方案及应用样例,形式:PDF/PPT/github/网站博客等(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
🎯 自选题:技术分享
🧑💻 任务描述 结合您实际上手FastDeploy2.0的体验,在Github、知乎、Huggingface等任一技术网站发布你的学习及开发体验blog
💰 完成标准 在问卷中提交blog地址,内容可包含体验感受/使用tips/二次开发经验/场景应用实例等内容。(问卷地址:https://www.wjx.top/vm/meSsp3L.aspx# )
截止时间 2025年8月22日
💰** 奖励规则:**完成【基础题】+任一【自选题】,即可获得【FastDeploy2.0专属骨瓷杯】+【50-1000元奖金】
😻 其它你可能关心的问题
算力要求:要基于本地算力还是云平台算力完成?——我们没有限制,希望你在各种平台上运行顺利,如有问题,欢迎反馈。
IP限制:不在国内,怎么加入交流群、怎么领取奖励?——你可以加入官方Discord地址 奖品方面,我们将为您发放星巴克代金券等实用的替换奖品。
💡获取帮助
你可以通过以下方式获取更多帮助,或与开发者们共同讨论并获得研发人员的技术支持

更多FD文档 技术文档
向我们提issue New issues
FastDeploy2.0官方答疑群
其它:如果以上任务都无法满足您技术探索的需求,欢迎联系我们(在下方评论、在FD讨论板块提出你的想法、联系群主等),秀出你的代码、需求、blog等内容,如需技术、奖金、算力支持,我们会尽全力为你提供!
18 votes ·
Beta Was this translation helpful? Give feedback.
All reactions