使用和学习人工智能堆栈的lm驱动产品，建立AI膳食计划，第1部分,正确的成分数据集的创建

忘记你对人工智能的了解。这不仅仅是科技巨头和拥有大量工程师和研究生的大学。建立有用的智能系统的力量是你力所能及的.感谢令人难以置信的进步 大型语言模型 (LLMS)--就像双子座和Tg-1的动力一样--你可以创建由Ai驱动的产品,这些产品过去需要一个工程师团队。在这一系列中,我们将从一个美味的用例开始,揭示建立LOM驱动的应用程序的过程:创建一个个性化的AI膳食计划。

作为我们旅行的一个例子,我们将构建一个饮食规划应用程序。网上提供的膳食计划并不短缺,包括根据不同需求定制的计划(不同的目标、基本健康状况等)。问题是,通常很难(有时是不可能的)找到专门为你量身定制的指导,而不雇用健康专家。

让我们看看一个现实的例子:32岁的软件工程师莎拉正在为她的第一次马拉松训练。她需要一个膳食计划,不仅满足她增加的热量需求,而且也是由于她的乳糖不耐症和对植物蛋白的偏好。传统的膳食计划应用程序很难适应这种定制的水平,这使它成为一个由lm驱动的解决方案的完美应用,它可以很容易地产生一个定制的计划,调整大营养素,并建议满足莎拉所有需求的特定食物。

在本教程中,我们将致力于开发一个模型,它可以吸收各种投入(年龄、身高、体重、活动水平、饮食限制、个人喜好等)。)及制作一份特别为使用者量身定制的美味营养餐计划。

正确的成分:数据集的创建

我们将通过构造一个特定于用例的数据集来为模型的质量奠定基础。我们将讨论为什么数据如此重要,准备数据集的各种方法,以及如何通过清理数据来避免常见的陷阱。

软件工程是建模的一个极好的隐喻。我们以后会在这篇文章中大量使用它。然而,当提到使用数据来修改模型性能时,几乎没有比雕刻更好的比喻了。用实心材料制作雕塑的过程通常是粗糙的造型,然后是连续几轮的精炼,直到材料"聚合"到艺术家的视野中。

这样,建模就需要从1和0的无特征的块开始,然后慢慢地调整它,直到它按照建模者的意图运行。雕刻家可以在那里拾起各种各样的凿、拾或锤,然而,建模者的工具是数据。

这个特殊的工具非常通用.它可以通过主题内容和实例的培训,或通过与外部系统的连接,为模型注入新的知识和领域理解。 恢复增强一代 .它也可以通过在特定的边缘情况下教授它以特定的方式进行行为来调试。反过来,它可以用来"放弃"在以前的训练中引入的某些行为。数据作为了解模型行为甚至用户行为的实验工具也很有用。

有了这些应用程序和更多的应用程序,应该可以清楚地看到,在建模方面,数据几乎是一切。在本节中,我们将全面概述如何为您的用例创建数据集,包括:

· 了解数据在整个模型生命周期中的使用情况

· 定义你的要求

· 创建数据集

· 为模型培训准备数据集

整个模型生命周期的数据

人们很容易相信,大型语言模型的力量完全取决于它的大小--参数越多越好。但这只是故事的一部分。虽然模型大小发挥了作用,但数据的质量和战略性使用才是真正的解锁LLS的潜力所在。这样想:你可以给主厨一大堆配料,但如果没有正确的食谱和技术,结果将不会是一个杰作。

让我们来探索数据塑造LM思维的关键阶段,把它从一张空白的表格转变成一个强大而多才多艺的人工智能:

1.预备培训:建立广泛的知识基础

预先训练就像把你的LMA送到一个"你可以吃到饱"的知识自助餐上。我们用大量的文本和代码数据集来淹没这个模型,使它暴露在互联网的广大范围之外。这是语言语言学学习基本语言模式的地方,吸收了广泛的概念,并发展了令人印象深刻的能力,以预测句子或代码中接下来会发生什么。

2.监督微调:发展专门知识

一旦LMA有了坚实的基础,它的时间磨练其技能的具体任务。在监督微调(SFT)中,我们为模型提供了经过仔细整理的快速响应对数据集,引导它达到期望的行为。你想让你的律师翻译语言吗?提供翻译文本的例子。需要它来总结文件吗?提供精心制作的摘要。SFT是我们从一个通才到一个专业的LMA的模子。

3.强化学习:通过反馈改进行为

强化学习(RL)主要是反馈和优化。我们向法律管理人提供选择,遵守其决定,并为符合我们目标的反应提供奖励。这个迭代过程帮助模型了解哪些响应是最有利的,逐渐完善其行为并提高其准确性。

4.背景学习:适应新信息

现实世界的对话充满了惊喜,要求LLMS适应新的信息。上下文学习允许LLMS处理会话中呈现的新信息,即使它不是初始培训数据的一部分。这种适应性使LLMS更有活力,更有能力处理突发事件。

5.检索增强生成:扩大知识视野

有时,LLMS需要获得超出其培训数据范围的信息。检索增强生成(RAG)通过将LM连接到外部数据库或知识库来弥补这一缺口。这使模型能够检索最新信息,将其纳入其答复,并提供更全面和更深刻的答案。