OpenTPU 在 300 美元 FPGA 卡上运行本地模型
这个采用 Apache 许可的项目公开了加速器设计、编译器、模拟器和主机工具。实测吞吐量表明,这是受内存限制的小型系统,尚不足以替代 GPU。
这个采用 Apache 许可的项目公开了加速器设计、编译器、模拟器和主机工具。实测吞吐量表明,这是受内存限制的小型系统,尚不足以替代 GPU。
这款开源命令行工具内嵌 llama.cpp,提供两个经过微调的小模型。作者还发布了包含 401,975 对样本的训练集和基准测试代码。
一个针对特定硬件的分支,在两个 POWER9 处理器和四张 V100 GPU 上运行 Qwen3.8-Flash-Next,展示了模型感知优化能从 2018年系统中释放的能力。
说话人分离、模型认知论文、本地项目、提示词实践、社区测试,以及当天的安全与政策进展。