人工智能膳食规划，训练我们的模型

在上一节中,我们收集了人工智能创造的关键"成分"--数据。这是我们模式的基础。请记住,配料的质量(您的数据)直接影响最后一道菜的质量(您的模型的性能)。

现在,我们将把这些数据转换成一个完全运行的数据 大语言模型。 到本节结束时,您将与自己的AI进行互动!

选择你的底层

在我们投入训练之前,我们将探索不同的方法来训练你的语言硕士。这就像为你的面包食谱选择合适的面粉一样--它显著地影响了你最终创造的能力和局限性。

有很多方法可以训练一个ML模型.这也是一个积极的研究领域,每天都在出现新的方法。让我们看一看模型开发方法的主要验证和真实类别。( 注意事项 :这些方法不一定相互排斥。)

主要方法

1.从头开始(预先训练你自己的模型)

这提供了最大的灵活性,但却是资源最密集的途径。这里需要大量的数据和计算资源,这意味着只有资源最充足的公司才能培训经过培训的新型模型。

2.微调(建立在预先培训的模式基础上)

这包括从一个强大的,现有的LLM开始,并使其适应我们的具体的饮食规划任务。这就像使用预做的面团一样--你不必从零开始,但是你仍然可以定制它。

3.利用开放源码模式

探索越来越多的开源模型,通常是关于共同任务的预先培训,而不需要广泛的培训。

4.使用现成的商业模型

对于准备生产的应用,请考虑商业LLMS(例如:,来自谷歌,开放,微软)为优化性能,但有潜在的定制限制。

5.云计算服务

使用强大的工具和管理的基础设施简化培训和部署,简化流程。

选择正确的方法

你的法律硕士的最佳基础取决于你的具体需要:

· 时间和资源: 你是否有能力进行预训练,或者你需要一个更快的解决方案?

· 定制: 你需要多少控制模型的行为?

· 费用: 你的预算是多少?你能投资于商业解决方案吗?

· 表现: 你需要什么水平的准确性和性能?

· 能力: 您有哪些技术技能和/或计算资源?

向前迈进

在本教程中,我们将侧重于对双子座专业进行微调,在我们的饮食规划模型的努力和功能之间取得平衡。

准备好培训:导出数据集

既然我们已经选择了基础层,那就准备好数据进行训练吧。由于我们使用的是谷歌云平台(GCP),所以我们需要的数据是JSONL格式的。

注意事项 :每个模型可能有具体的数据格式要求,因此在进行之前总是查阅文件。

幸运的是,将数据从谷歌表转换为json,很简单Python .

1. 出口到CSV :首先,将您的数据从谷歌表中导出为CSV文件。

2. 将CSV转换为JSONL :运行以下组脚本,替换your_recipes.csv 你的文件名:

import csv

import json

csv_file = 'your_recipes.csv' # Replace 'your_recipes.csv' with your CSV filename

jsonl_file = 'recipes.jsonl'

with open(csv_file, 'r', encoding='utf-8') as infile,

open(jsonl_file, 'w', encoding='utf-8') as outfile:

reader = csv.DictReader(infile)

for row in reader:

row['Prompt'] = row['Prompt'].splitlines()

row['Response'] = row['Response'].splitlines()

json.dump(row, outfile)

这将创造一个 接收器。 文件中的每一行是一个JSON对象,代表一个膳食计划。

训练你的模特

我们终于准备好开始训练我们的LMA了。开始吧!

1.项目设置

1. 谷歌云项目 :如果你还没有新的谷歌云项目( 提供免费层 ).

2. 启用API :在控制台中搜索"顶点人工智能",在顶点人工智能页面上,点击 启用所有推荐的API .

3. 认证 :搜寻"服务帐户",并在该网页上,按 创建服务帐户 .使用演练设置一个服务帐户,并下载安全访问所需的凭证。

4. 云存储桶 找到"云存储"页面,创建一个存储桶。

2.顶点人工智能设置

1. 航行到 顶点人工智能工作室(提供免费层) .

2. 点击 在控制台里试一试 在浏览器中,你已经登录到你的谷歌云帐户。

3. 在左边的窗格中找到并点击 语言 .

4. 导航到"调音和蒸馏"标签:

3.示范培训

· 点击 创建调谐模型 .

· 对于这个例子,我们将执行一个基本的微调任务,所以选择"监督性的调整"(默认情况下应该选择)。

· 告诉你的模特名字。

· 选择一个基本模型:我们将使用双子座Pro1.0002这个例子。

· 点击 继续 .

· 上传您在步骤2中生成的JSOL文件。

· 您将被要求"数据集位置"。"这就是你的JSOL文件将位于云中的位置。您可以使用UI非常容易地创建一个"桶"来存储这些数据。

点击开始和等待模型被训练!通过这一步,你现在进入了LLMAAI竞技场。您生成的模型的质量仅受您的想象力和您可以为您的用例找到、准备和/或生成的数据的质量的限制。

对于我们的用例,我们使用了我们早些时候生成的数据,其中包括关于个人如何实现其具体健康目标的提示,以及与这些限制相匹配的膳食计划。

4.测试你的模型

一旦您的模型被训练,您可以测试它通过导航到它的调子和提取主页。在这个接口中,您可以和其他聊天机器人一样与新创建的模型进行交互。