从这周开始我们的周刊就会开始收费了,目前暂时只支持信用卡支付,微信和支付宝的应该过几天会开通。
收费之后我就可以投入更多时间去整理,会把很多图像以及视频的优质内容也整理进来。这周先增加了一个“有趣的AI内容的栏目”,各位关于内容上的问题也可以跟我反馈。
另外为了方便交流也建了一个微信群,可以在这期内容最后加我微信,发我你订阅的邮箱我会拉你进群,一些重要信息和资源我也会先往群里丢。
从明天开始的首周会开启七折订阅活动,目前价格为一年28 20美金,订阅地址在这里:https://quail.ink/op7418/upgrade,也可以最后点阅读原文直达。
感谢各位的订阅,拜谢🙏。
上周精选 ✦
AI行业进入深水区,巨无霸卷能源,创业公司卷体验
上周两部分新闻最多,一部分是微软谷歌等几个巨无霸公司不满足于卷算力或者是卷算力达到了瓶颈,开始对能源行业下手,纷纷瞄准了核能这个领域。
相关新闻有:
•美国能源部宣布提供高达 9 亿美元的资金支持小型模块化核反应堆(SMRs)的发展[3],资金来自 2021 年的基础设施法案,旨在促进美国国内核能领域的创新和增长。•三哩岛核电站将在 2028 年重新开放,为微软的数据中心提供电力[4]。这是曾经发生过美国历史上最严重商业核事故的电站。•谷歌公宣布将从小型模块化反应堆(SMRs)开发商 Kairos Power 购买电力[5],以满足其数据中心不断增长的能源需求。•亚马逊 AWS 宣布将投资超过 5 亿美元[6],与多个公用事业公司合作开发小型模块化核反应堆(SMRs),以满足其增长的数据中心需求,并推动其向净零碳排放的承诺。

另外创业公司和一些模型公司开始在产品细节上下功夫,纷纷开始频繁在产品体验和能力上发力。
AI创业和投入的门槛都在不断变高,新玩家加入或者想通过简单的优化拿到融资或者起飞越来越困难。
Perplexity推出了 Space,类似 Claude Project[7]:
•支持上传和存储文件•除了网络之外还可以搜索文件•选择喜欢的人工智能模型•为想要的答案编写自定义说明•邀请其他人并协作搜索
还有内部知识搜索功能,可以搜索整个组织的文件和内部网络,只有 Enterprise Pro 才能用。
Perplexity 现在还支持非常详细的股票分析。可以生成历史收益报告,行业同行比较。公司财务状况的详细分析。
ChatGPT Windows 版本上线[8]:
ChatGPT Windows 版本上线,PC 玩家终于有人管了!
Alt + Space 可以快速拉起 ChatGPT 让他回答问题。但是需要通过 Windows Store 安装。
微软权限验证有点严格,建议开启 UWP Loopback ,更改地区和语言,再打开 Windows Store 试试。
NotebookLM 支持自定义生成播客的内容和风格[9]:
NotebookLM 再次进化,推出两个很有用的新功能:
指导对话:可以在生成播客前输入你的要求,比如只聊某个主题或者给某个具体的受众听的主题。
后台收听:可以让生成的播客在后台播放,同时可以继续操作UI界面,使用其他功能。
Claude iOS 和 Android更新大量体验优化,视觉表现也全部改版,并推出 iPad 应用[10]。
Dropbox 发布组织内 AI 搜索功能[11]:
提供了 AI 驱动的全局搜索功能,可以跨越多个连接的应用程序快速找到公司内容。
支持连接诸如 Google Drive、Microsoft OneDrive 和 Dropbox 等常用工具。
还提供了内容控制功能,允许管理员从单一界面监控和调整多个云应用的权限。
英伟达和Mistral发布了他们的新LLM
Nvidia 发布 Nemotron 70B 模型[12]
Nvidia 发布的 Nemotron 70B 引发了大规模讨论。从他们自己的测试来看,分数完全超过了 Llama 3.1 405B、GPT4o 和 Claude 3.5 Sonnet。
以下是评估结果 (Nemotron 70B 对比 Claude 3.5 对比 GPT4o):
Arena Hard 测试:85.0 vs 79.2 vs 79.3 AlpacaEval 2 LC 测试:57.6 vs 52.4 vs 57.5 MT Bench 测试:8.98 vs 8.81 vs 8.74
但是在一些其他的测试集如GPQA和MMLU Pro和aider 上。Nemotron 70B 和 Llama 3.1 70B 的表现差不多甚至更差,所以具体的能力还得看到时候 LLM 竞技场的评分了。
核心是在训练过程中使用了 Llama-3.1-Nemotron-70B-Reward 和 HelpSteer2-Preference 提示进行 RLHF 训练。同时模型的权重和数据集都是开源的。
Mistral发布了两个小模型,Ministral 3B 和 Ministral 8B[13]
Mistral发布了两个小模型,Ministral 3B 和 Ministral 8B。
他们说这是世界上最好的边缘模型(edge models),数据确实非常亮眼,所有参数全面超越同规模模型。
两种模型均支持长达 128k 的上下文长度;Ministral 8B 有特殊的交错滑动窗口注意力模式,以加快和提高内存利用率;Ministral 8B Instruct 模型可以下载不可商用。
Adobe 发布AI视频生成模型和一系列AI功能[14]
Adobe上周召开了AdobeMAX大会,发布了他们预告了很久的视频生成模型以及一堆AI功能和产品。
发布Firefly 视频生成模型,支持文生视频、图生视频:
最强的是支持视频编辑,比如这个镜头拍摄的时候是拿的苹果,可以编辑为拿旁边的梨。
还可以生成一些纯黑背景的光效素材,然后用滤色模式合并。
生成扩展功能:
可以直接在 Adobe Premiere 中延长生成某一段视频填补镜头之间的间隙、或者延长镜头。
也可以单击并拖动音频剪辑的末端,以延长生成环境声音,以平滑音频编辑。
这个对于创作者来说还是挺重要的,如果生成质量好的话缺的视频和音频就不需要补拍补录了,不过目前不能再大于1080P的素材上使用,有点鸡肋。
Nutrition labels:
Adobe 的新网络应用程序为了保护创作者的作品不受人工智能的不当使用,同时确保他们获得适当的归属。
通过集中的网络应用程序,Adobe 提供了一种简化的方式来应用和管理内容凭证,这有助于创作者更容易地保护自己的作品。
Project Scenic:
Scenic 实际上会生成一个完整的 3D 场景,允许添加、移动特定对象并调整其大小,而不是仅仅依赖文本描述。然后将最终结果用作生成与 3D 计划匹配的 2D 图像的参考。
Project Motion:
这是一个两步工具,可用于轻松制作各种风格的动画图形。第一阶段是一个简单的动画生成器,允许创意人员向文本和基本图像添加运动效果,而无需事先具备动画经验。然后使用文本描述和参考图像对其进行转换 - 添加颜色、纹理和背景序列。
Project Clean Machine:
是一种编辑工具,可以自动消除图像和视频中烦人的干扰,例如相机闪光灯和走进画面的人。
Meta 开源视频生成模型对应的两个测试集[15]
Meta 开源了他们视频生成模型对应的两个测试集,对从业者和创作者都很有帮助。可以看看Meta 怎么写提示词和测试的。
推荐视频创作者维护一个自己的测试集对于测试目前层出不穷的视频模型很有帮助。
Movie Gen Video Bench
是迄今为止发布的最大规模、最全面的文本生成视频评估基准。包含1,000 多个提示词,从详细的人类活动到动物、物理现象、奇特主题等各种概念。
具体的概念分类有:
•人类活动(肢体和嘴巴运动、情绪等)•动物•自然与风景•物理学(流体动力学、重力、加速度、碰撞、爆炸等)•不寻常的主题和不寻常的活动。
同时在上面的分类上还有高、中、低不同的运动幅度测试。
Movie Gen Audio Bench
旨在评估"视频生成音频"和"文本配合视频生成音频"的能力。包括 527 个生成的视频,以及相应的音效和音乐提示。
如果想要了解上周更多AI内容也可以订阅完整周刊,订阅地址在这里:https://quail.ink/op7418/upgrade
感谢各位的订阅,拜谢🙏。
References
[1]
封面提示词在这里: https://catjourney.life/
[2]
你可以点这里订阅: https://quail.ink/op7418/upgrade
[3]
美国能源部宣布提供高达 9 亿美元的资金支持小型模块化核反应堆(SMRs)的发展: https://oilprice.com/Latest-Energy-News/World-News/DoE-Unleashes-900M-in-Funding-for-Small-Nuclear-Reactors.html#:~:text=Funded%20by%20the%202021%20bipartisan,domestic%20nuclear%20sector%20including%20design
[4]
三哩岛核电站将在 2028 年重新开放,为微软的数据中心提供电力: https://www.npr.org/2024/09/20/nx-s1-5120581/three-mile-island-nuclear-power-plant-microsoft-ai
[5]
谷歌公宣布将从小型模块化反应堆(SMRs)开发商 Kairos Power 购买电力: https://www.cnbc.com/2024/10/14/google-inks-deal-with-nuclear-company-as-data-center-power-demand-surges.html
[6]
亚马逊 AWS 宣布将投资超过 5 亿美元: https://www.cnbc.com/2024/10/16/amazon-goes-nuclear-investing-more-than-500-million-to-develop-small-module-reactors.html
[7]
Perplexity推出了 Space,类似 Claude Project: https://www.perplexity.ai/hub/blog/introducing-internal-knowledge-search-and-spaces
[8]
ChatGPT Windows 版本上线: https://openai.com/chatgpt/download/
[9]
NotebookLM 支持自定义生成播客的内容和风格: https://blog.google/technology/ai/notebooklm-update-october-2024/
[10]
Claude iOS 和 Android更新大量体验优化,视觉表现也全部改版,并推出 iPad 应用: https://x.com/AnthropicAI/status/1846928983297769655
[11]
Dropbox 发布组织内 AI 搜索功能: https://dash.dropbox.com/
[12]
Nvidia 发布 Nemotron 70B 模型: https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct
[13]
Mistral发布了两个小模型,Ministral 3B 和 Ministral 8B: https://mistral.ai/news/ministraux/
[14]
Adobe 发布AI视频生成模型和一系列AI功能: https://blog.adobe.com/en/publish/2024/10/14/generate-video-beta-on-firefly-web-app
[15]
Meta 开源视频生成模型对应的两个测试集: https://github.com/facebookresearch/MovieGenBench?tab=readme-ov-file