无需显卡，树莓派也能运行开源系列模型 LLaMA-电子工程世界

分享到: 微博; QQ; 微信; LinkedIn

Meta 在上个月末发布了一系列开源大模型 ——LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运行，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运行 LLaMA 模型，并分享经验。

虽然相比于 ChatGPT 等需要大量算力资源的超大规模的语言模型，单张显卡的要求已经很低了，但还能更低！最近有开发者实现了在 MacBook 上运行 LLaMA，还有开发者成功在 4GB RAM 的树莓派上运行了 LLaMA 7B。

这些都得益于一个名为 llama.cpp 的新项目，该项目在 GitHub 上线三天，狂揽 4.6k star。

Georgi Gerganov 是资深的开源社区开发者，曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。

这次，llama.cpp 项目的目标是在 MacBook 上使用 4-bit 量化成功运行 LLaMA 模型，具体包括：

没有依赖项的普通 C/C++ 实现；
Apple silicon first-class citizen—— 通过 Arm Neon 和 Accelerate 框架；
AVX2 支持 x86 架构；
混合 F16 / F32 精度；
4-bit 量化支持；
在 CPU 上运行。

llama.cpp 让开发者在没有 GPU 的条件下也能运行 LLaMA 模型。项目发布后，很快就有开发者尝试在 MacBook 上运行 LLaMA，并成功在 64GB M2 MacBook Pro 上运行了 LLaMA 7B 和 LLaMA 13B。

如果 M2 芯片 MacBook 这个条件还是有点高，没关系，M1 芯片的 MacBook 也可以。另一位开发者分享了借助 llama.cpp 在 M1 Mac 上运行 LLaMA 模型的方法。

除了在 MacBook 上运行，还有开发者借助 llama.cpp 在 4GB RAM Raspberry Pi 4 上成功运行了 LLaMA 7B 模型。Meta 首席 AI 科学家、图灵奖得主 Yann LeCun 也点赞转发了。

以上是 3 个在普通硬件设备上成功运行 LLaMA 模型的例子，几位开发者都是借助 llama.cpp 实现的，可见 llama.cpp 项目的实用与强大。

看来，LLaMA 将在 Meta 和开源社区的共同努力下，成为众多开发者钻研大规模语言模型的入口。

关键字：树莓派编辑：王兆楠引用地址：无需显卡，树莓派也能运行开源系列模型 LLaMA

上一篇：IAR发布行业技术研究白皮书“嵌入式软件开发的十二大基本要素”
下一篇：晶心科技和 IAR携手助力奕力科技加速开发其符合ISO 26262标准的TDDI SoC ILI6600A

推荐阅读

无需显卡，树莓派也能运行开源系列模型 LLaMA

Meta 在上个月末发布了一系列开源大模型 ——LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运行，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运行 LLaMA 模型，并分享经验。虽然相比于 ChatGPT 等需要大量算力资源的超大规模的语言模型，单张显卡的要求已经很低了，但还能更低！最近有开发者实现了在 MacBook 上运行 LLaMA，还有开发者成功在 4GB RAM 的树莓派上运行了 LLaMA 7B。这些都得益于一个名为 llama.cpp 的新项目，该项目在 GitHub 上线

发表于 2023-03-15

无需显卡，<font color='red'>树莓派</font>也能运行开源系列模型 LLaMA

搞定电路设计之适于树莓派的±10V模拟输入和±15V模拟输出I/O模块

搞定电路设计之适于树莓派的±10V模拟输入和±15V模拟输出I/O模块虽然世界继续更加数字化，计算能力和数字功能愈发关键，但测量环境和与实际器件交互的需求仍然是一种模拟功能。为了在数字和模拟域的边界运行，处理器必须包括混合信号输入/输出，并适应更多的软件可编程范围，从而支持许多工业、仪器仪表和自动化应用。图1所示的电路是一个灵活的多通道混合信号模拟输入/输出(I/O)模块。16个单端模拟输出可通过软件配置，支持范围为0V至5V、±5V、0V至10V和±15V。8个全差分模拟输入通道的输入范围为0V至2.5V、±13.75V和0V至27.5V，可通过硬件进行选择。图1.ADI CN0554简化功能框图该电路可直接安装在树莓派的顶部，为

发表于 2023-02-10

搞定电路设计之适于<font color='red'>树莓派</font>的±10V模拟输入和±15V模拟输出I/O模块

树莓派涨价太凶，来看看这款完美替代并且性能得到更大提升的研扬科技UP 4000吧

研扬科技将经典与现代融为一体，推出了开拓性UP Board的继任者UP 4000。UP 4000保持了上一代的经典外形，为用户提供了处理能力、I/O密度和扩展选项方面的升级; 同时与现有的UP Board供电系统保持兼容。特别值得注意的是，UP 4000的Intel® Pentium® N4200/Celeron® N3350/Atom E3950 SoC处理器 (原名为Apollo Lake)的CPU速度提高了30%。除此之外，Intel第9代HD处理器图形包在3D图形性能方面也有双倍提升。与上一代相比，这些升级为用户提供了高达1.7倍的单线程性能，以及1.5倍的图形爆发性能。虽然UP 4000代表了创客板技术的巨大进步，但该板将

发表于 2023-01-31

虹科案例 | 基于虹科工业树莓派的AGV机器小车控制系统

基于虹科工业树莓派的AGV机器小车控制系统前言2020年爆发的疫情放大了人在自然风险下的脆弱性，也进一步地促进了AGV等自动化设备在各行领域的应用。自动导向小车（AGV）是一种移动机器人，主要用来储运各类物料，为系统柔性化、集成化、高效运行提供了重要保证，在现代制造企业物流系统中占有重要地位。 HongKe Technology虹/科/方/案01应用背景随着5G时代的到来，不少AGV企业也意识到将移动机器人赋予更多“从车辆到机器人”的概念、乘5G浪潮和推动智能化转型是移动机器人企业的大势所趋。5G网络将生产设备无缝连接，满足工业环境下设备互联和远程交互应用需求。随着高可靠性网络的连续覆盖，移动机器人在移动过程中活动区域将不受限

发表于 2022-09-09

树莓派Pi 4现已支持Vulkan 1.2

树莓派Pi 4达到了一个重要的图形里程碑，增加了对Vulkan 3D API的支持。虽然这并不意味着单板电脑可以顺利运行Doom (2016)，但它确实有助于树莓派运行Android并指向一些有潜力的应用中。树莓派首席执行官Eben Upton 8月初宣布了树莓派PI 4的Vulkan 1.2一致性。不过目前操作系统尚不支持，但应该很快。对于大多数将树莓派作为边缘服务器、DIY 控制器或轻型台式机的人来说，Vulkan 1.2 的一致性并不明显。标准树莓派OS 上的桌面图形由 OpenGL 提供支持，这是 Vulkan 旨在取代的旧API。Upton表示，游戏和其他 3D Android 应用程序将受益。Android 使用 Vul

发表于 2022-08-08

树莓派推出带wi-fi功能的新品Pico W

日前，树莓派发布了包含 Wi-Fi 功能的新 RP2040电路板。让我们看看这款新电路板的亮点。RP2040的亮点树莓派推出的第一个芯片RP2040包括两个运行频率为 133 MHz 的 Arm Cortex M0+ 内核和 264 KB 片上 RAM。该器件还通过专用 QSPI 总线支持高达 16 MB 的片外闪存。树莓派 Pico。图片由树莓派提供与同类产品相比，RP2040 的一个关键优势在于其可编程 I/O (PIO) 外设，可用于实现不同的数字通信协议以及不太常见的协议，例如 WS2812 LED 协议。该公司还发布了树莓派Pico，这是一款使用 RP2040 MCU 构建的 4 美元微控制器板。一个明显的缺点和两个潜在

发表于 2022-07-20