AI 大模型企业应用实战(07)-LangChain的Hello World项目
pip install --upgrade langchain==0.0.279 -i https://pypi.org/simple
1 创建一个LLM
- 自有算力平台+开源大模型（需要有庞大的GPU资源）企业自己训练数据
- 第三方大模型API（openai/百度文心/阿里通义千问...）数据无所谓
让LLM给孩子起具有中国特色的名字。
在LangChain中最基本的功能就是根据文本提示来生成新的文本
使用方法：predict
生成结果根据你调用的模型不同而会产生非常不同的结果差距，并且你的模型的tempurature参数也会直接影响最终结果（即LLM的灵敏度）。
2 自定义提示词模版
- 将提问的上下文模版化
- 支持参数传入
让LLM给孩子起具有美国特色的名字。
将提示词模版化后会产生很多灵活多变的应用，尤其当它支持参数定义时。
使用方法
langchain.prompts
3 输出解释器
- 将LLM输出的结果各种格式化
- 支持类似json等结构化数据输出
让LLM给孩子起4个有中国特色的名字，并以数组格式输出而不是文本。
与chatGPT只能输出文本不同，langchain允许用户自定义输出解释器，将生成文本转化为序列数据使用方法：
langchain.schema
第一个实例
让LLM以人机对话的形式输出4个名字
名字和性别可以根据用户输出来相应输出
输出格式定义为数组
4 开始运行
pip install openai==v0.28.1 -i https://pypi.org/simple
引入openai key
import os
os.environ["OPENAI_KEY"] = "xxxxx"
# 为上网，所以需要添加
os.environ["OPENAI_API_BASE"] = "xxxxx"
从环境变量中读取：
import os
openai_api_key = os.getenv("OPENAI_KEY")
openai_api_base = os.getenv("OPENAI_API_BASE")
print("OPENAI_API_KEY:", openai_api_key)
print("OPENAI_PROXY:", openai_api_base)
运行前查看下安装情况
! pip show langchain
! pip show openai
openai 官方SDK
#使用openai的官方sdk
import openai
import os
openai.api_base = os.getenv("OPENAI_API_BASE")
openai.api_key = os.getenv("OPENAI_KEY")
messages = [
{"role": "user", "content": "介绍下你自己"}
]
res = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=messages,
stream=False,
)
print(res['choices'][0]['message']['content'])
使用langchain调用
#hello world
from langchain.llms import OpenAI
import os
api_base = os.getenv("OPENAI_API_BASE")
api_key = os.getenv("OPENAI_KEY")
llm = OpenAI(
model="gpt-3.5-turbo-instruct",
temperature=0,
openai_api_key=api_key,
openai_api_base=api_base
)
llm.predict("介绍下你自己")
起名大师
#起名大师
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
import os
api_base = os.getenv("OPENAI_API_BASE")
api_key = os.getenv("OPENAI_KEY")
llm = OpenAI(
model="gpt-3.5-turbo-instruct",
temperature=0,
openai_api_key=api_key,
openai_api_base=api_base
)
prompt = PromptTemplate.from_template("你是一个起名大师,请模仿示例起3个{county}名字,比如男孩经常被叫做{boy},女孩经常被叫做{girl}")
message = prompt.format(county="中国特色的",boy="狗蛋",girl="翠花")
print(message)
llm.predict(message)
输出：
'\n\n男孩: 龙飞、铁柱、小虎\n女孩: 玉兰、梅香、小红梅'
格式化输出
from langchain.schema import BaseOutputParser
#自定义class，继承了BaseOutputParser
class CommaSeparatedListOutputParser(BaseOutputParser):
"""Parse the output of an LLM call to a comma-separated list."""
def parse(self, text: str):
"""Parse the output of an LLM call."""
return text.strip().split(", ")
CommaSeparatedListOutputParser().parse("hi, bye")
['hi', 'bye']
完整案例
#起名大师，输出格式为一个数组
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
import os
from langchain.schema import BaseOutputParser
#自定义类
class CommaSeparatedListOutputParser(BaseOutputParser):
"""Parse the output of an LLM call to a comma-separated list."""
def parse(self, text: str):
"""Parse the output of an LLM call."""
print(text)
return text.strip().split(",")
api_base = os.getenv("OPENAI_API_BASE")
api_key = os.getenv("OPENAI_KEY")
llm = OpenAI(
model="gpt-3.5-turbo-instruct",
temperature=0,
openai_api_key=api_key,
openai_api_base=api_base
)
prompt = PromptTemplate.from_template("你是一个起名大师,请模仿示例起3个具有{county}特色的名字,示例：男孩常用名{boy},女孩常用名{girl}。请返回以逗号分隔的列表形式。仅返回逗号分隔的列表，不要返回其他内容。")
message = prompt.format(county="美国男孩",boy="sam",girl="lucy")
print(message)
strs = llm.predict(message)
CommaSeparatedListOutputParser().parse(strs)
['jack', ' michael', ' jason']
关注我，紧跟本系列专栏文章，咱们下篇再续！
作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。
各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。
负责：
- 中央/分销预订系统性能优化
- 活动&券等营销中台建设
- 交易平台及数据中台等架构和开发设计
- 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
- LLM应用开发
目前主攻降低软件复杂性设计、构建高可用系统方向。
参考：
本文由博客一文多发平台 OpenWrite 发布！