实现思路和步骤
移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统,编译出能在OpenHarmony运行的二进制产物。(InferLLM 是一个简单高效的 LLM CPU 推理框架,可以本地部署 LLM 中的量化模型)
使用OpenHarmony NDK来编译OpenHarmony上的InferLLM可执行文件(具体使用OpenHarmony lycium 交叉编译框架,然后编写一些脚本。然后把其存放在tpc_c_cplusplusSIG仓库。)
在DAYU200上本地部署大语言模型
编译获取InferLLM三方库编译产物
下载OpenHarmony sdk,下载地址:
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
下载本仓库
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
分享说明:转发分享请注明出处。