您的当前位置:首页 > 焦点 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-07 06:00:34 来源:网络整理 编辑:焦点
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
30款显卡横评!《黑神话:悟空》首发硬件测试2025-01-07 05:55
明年连续4个月没有法定节假日!元旦假期来了:本周上四休三不调休2025-01-07 05:27
[JR热议]恋恋红茶谈老板全华班执念:全华班S冠将是巨大流量2025-01-07 05:13
海港加速重建进行时:内援已定2人 洋枪正在路上2025-01-07 05:12
官方:久保建英当选日本职业球员协会2024年度最佳球员2025-01-07 05:11
记者:重庆铜梁龙新任总经理李平,在国安工作20多年并任财务总监2025-01-07 04:08
贾跃亭又要交车了 车主为美国华人社区领袖:即将完成交付16辆2025-01-07 03:55
三蹦子也能改房车!女子晒视频:网友齐担心2025-01-07 03:50
接替丰塞卡!记者:米兰已和孔塞桑达成协议,后者还拒绝了狼队2025-01-07 03:26
金元时代落幕!盘点中超历史千万欧级别转会:共47笔,奥斯卡居首2025-01-07 03:18
给尤文那不勒斯建议,前总监:路易斯费利佩风格很像卡纳瓦罗2025-01-07 05:43
1颗顶10盖洗衣液!立白洗衣凝珠大促 3盒补贴价19.9元2025-01-07 05:40
鲁媒:克雷桑身价上成名副其实中超第一外援,领导力存明显短板2025-01-07 05:25
亚冬会已完成七项测试赛 明年1月启动七场雪上测试赛2025-01-07 04:30
华为2025年第一款麒麟手机!畅享70X 1月3日预售2025-01-07 04:23
三蹦子也能改房车!女子晒视频:网友齐担心2025-01-07 04:23
西媒报道武磊:今年打进42球 仅次于C罗、凯恩、哈兰德与约克雷斯2025-01-07 04:20
[流言板]2K预测独行侠和雄鹿会师NBA杯决赛,最终独行侠夺冠2025-01-07 04:02
摇粒绒内胆:贵人鸟三合一冲锋衣109元新低(单夹克99元)2025-01-07 03:53
金元时代落幕!盘点中超历史千万欧级别转会:共47笔,奥斯卡居首2025-01-07 03:41