Georgi Gerganov，今年三月曾开源了llama.cpp项目，GitHub上已破三万星标，要知道Stable Diffusion也不过8.8k。
这个项目能让开发者在没有GPU情况下运行Meta的LLaMA模型，即便是在树莓派、MacBook上运行大模型也通通不在话下~
△在 M2 Max 上以 40 tok/s 的速度运行 7B LLaMA
甚至还成功吸引了小扎的注意：Meta也在运行llama.cpp。
可能由于反响太好，这位大哥决定把背后核心纯C语言框架ggml拿出来创业：原本是几月前的副业项目。
在官宣前这家公司就已经获得来自GitHub前CEONat Friedman、Y Combinator合伙人Daniel Gross的种子前投资。
消息一出，众多开发者赶来祝贺。
其中不乏一些坚定的拥护者：ggml正在将大模型普及到边缘设备。
没过多久就有人建议：苹果应该将它收购了。（狗头）
llama.cpp作者创业
ggml，是一个纯C语言编写的张量库，可帮助开发者在消费级硬件上运行大模型，GitHub星标数达到4.4k。
由于加速效果惊人，一下子收获了不少开发者的支持。
By the way，ggml的gg恰好是他名字的缩写。
大哥自己的两个上万星标的项目llama.cpp和whisper.cpp都使用了它。
后者是为OpenAI的Whisper自动语音识别模型开发的加速方案，可在Mac、Windows、Linux、iOS、安卓、树莓派以及web上运行。
△使用whisper.cpp在 树莓派上检测短语音命令
不少初创公司，比如主打生活搜索引擎的rewind都使用了这套解决方案。
还有两个项目同时在终端上运行。
△在单个M1Pro上同时运行4个13B LLaMA+Whisper Small实例
根据个人介绍，ggml张量库具有以下这些特点：
支持 16bit 浮点数；支持整数量化（包括 4 位、5 位、8 位）；自动微分；内置优化算法（例如 ADAM、L-BFGS）；为苹果芯片设置特定优化；在 x86 架构上使用AVX / AVX2 Intrinsic；通过WebAssembly和WASM SIMD提供Web支持；无第三方依赖；运行时零内存分配；支持指导型语言输出……
目前这个库以及相关项目都是免费开源，开发过程也全公开；当然也不排除开发授权给一些商业用途的项目。
用C/C++重写神经网络代码
而这背后的开发大佬Georgi Gerganov也值得说道说道。
他的个人网站十分简单直接，甩出各种开源项目，除此之外别无其他。可以看出，他是C/C++的狂热爱好者，信仰Vim。
此前，他曾用C/C++语言重写神经网络推理代码，这样几乎不依赖于其他库，以此提升效率。至于llama.cpp也是他一晚上Hacking出来的。
除此之外，他还有一些有意思的项目。
比如检查键盘是否可以通过麦克风窃听、猜Hacker News的标题，Wordle克隆版等等。
One More Thing
值得一提的是，背后的这两个投资者也有点意思。
他们还专门给创业者提供算力集群，只需在网站上申请即可。这波是在Next Level上了~
参考链接：
[1]https://ggerganov.com/
[2]http://ggml.ai/
[3]https://twitter.com/ggerganov
若觉得还不错的话，请点个 “赞” 或 “在看” 吧
论文指导班
论文指导班面向那些没有导师指导、需要升学申博的朋友，指导学员从零开始调研相关方向研究、尝试idea、做实验、写论文，指导老师会提供一些idea、代码实现部分的指导、论文写作指导和修改，但整体仍然是由学员自主完成。需要说明的是，论文指导班并非帮你写论文，或者直接给一篇论文让你挂名，我们不会做任何灰色产业，因此，想直接买论文或挂名的朋友请勿联系。
指导老师：
海外QS Top-60某高校人工智能科学博士在读, 师从IEEE Fellow，曾在多家AI企业担任研究实习生和全职算法研究员，具备极强的学术届和工业界综合背景。研究领域主要包括通用计算机视觉模型的高效设计，训练，部署压缩以及在目标检测，语义分割等下游任务应用，具体包括模型压缩 (知识蒸馏，模型搜索量化剪枝), 通用视觉模型与应用(VIT, 目标检测，语义分割), AI基础理论(AutoML, 数据增广，无监督/半监督/长尾/噪声/联邦学习)等；共发表和审稿中的15余篇SCI国际期刊和顶级会议论文，包括NeurIPS，CVPR, ECCV，ICLR，AAAI, ICASSP等CCF-A/B类会议。发明专利授权2项。
长期担任计算机视觉、人工智能、多媒体领域顶级会议CVPR, ECCV, NeurIPS, AAAI, ACM MM等审稿人。指导研究生本科生发表SCI, EI，CCF-C类会议和毕业论文累计30余篇，有丰富的保研,申博等方面经验，成功辅导学员赴南洋理工，北大，浙大等深造。
涉及范围：CCF会议A类/SCI一区、CCF会议B类/SCI二区、CCF会议C类/SCI三区、SCI四区、EI期刊、EI会议、核心期刊、研究生毕业设计
报名请扫描下方二维码了解详细情况，备注：“论文班报名”。
如果有其他想要当论文指导老师的朋友，请发简历给我，同样扫描上方二维码，备注：“论文指导老师”。基本条件：已发表两篇以上一作顶会，或3-5篇其他级别的一作论文，学历在985博士及以上。
