
DeepSeek凭借其V3和新推出的R1两款模型,实现了与OpenAI 4o和o1比肩的性能,同时成本仅为十分之一,为AI技术的普及提供了经济高效的解决方案。DeepSeek的崛起,不仅标志着中国AI技术的突破,更预示着全球AI市场将迎来一场新革命。
以下是详细的部署步骤,帮助您快速实现这一国产技术组合的落地应用。
硬件准备:
RK3588开发板:京博航友善NanoPC-T6(预装望获实时Linux)
工作主机:ubuntu笔记本电脑
部署步骤
从Hugging Face拉取DeepSeek-R1的1.5B蒸馏模型到x86平台:
二、配置模型转换脚本
在RK3588平台,进入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目录,生成llm_demo运行文件:
六、运行模型
Copyright 版权所有 Copyright 2013-2020 福建省云创集成科技服务有限公司 共建合作:中国协同创新网
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168