搜索
搜索
天涯的知库
显示页面
过去修订
您的足迹:
本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== AI 生活助手 ====== ===== 解决方案 ===== **Database** - Notion - [[https://www.notion.so/my-integrations|my-integrations]] - [[https://developers.notion.com/reference/intro|API]] 主要看 ENDPOINTS 下面的例子 - AppSmith - [[it:ai:appsmith|appsmith]] - Neo4j - [[it:database:ne04j|]] - SingleStore - [[it:database:singlestore|]] - [[https://www.youtube.com/watch?v=ySus5ZS0b94|OpenAI Embeddings and Vector Databases Crash Course]] {{fa>youtube}} - [[https://www.youtube.com/watch?v=N4nX_rTwKx4&t=318s|OpenAI GPT3 with a Databases - Crash Course]] {{fa>youtube}} - 文献和思路 - [[https://www.51cto.com/article/760672.html|从通才到专才：Fine-tuning与Embedding探索]] **语言模型** - {{fa>youtube}} [[https://www.youtube.com/watch?v=QdDoFfkVkcw|Embedding for free]] => {{fa>github?24}} [[https://github.com/rabbit-hole-syndrome/open-source-embeddings|code]] - [[https://sbert.net/|SBERT.net]] - {{fa>youtube}} [[https://www.youtube.com/watch?v=eQHhB1Z3fIA|LangChain alternative]] - {{fa>book?18}} [[https://juejin.cn/post/7134576258733572110|Elasticsearch：使用向量搜索来查询及比较文字 - NLP text embedding]] - {{fa>book?18}} [[https://elasticstack.blog.csdn.net/article/details/102728604?ydreferer=aHR0cHM6Ly9saW5rLmp1ZWppbi5jbi8%3D|Elastic：开发者上手指南]] - {{fa>github}} [[https://github.com/pgvector/pgvector|pgvector]] （posgresSQL数据库的一个扩展，用于保存向量数据） - [[https://github.com/axa-group/nlp.js/blob/master/docs/v4/nlp-intent-logics.md|nlp.js intent logics]] - TensorFlow - [[https://www.youtube.com/watch?v=Lv8ZVoxnX_I|Text classification with TensorFlow and React in JavaScript]] {{fa>youtube}} - [[https://www.youtube.com/watch?v=gE-95nFF4Cc|Intent Recognition with BERT using Keras and TensorFlow 2 in Python | Text Classification Tutorial]] **HuggingFace** - {{fa>book}} [[https://huggingface.co/spaces/mteb/leaderboard|MTEB]] - [[https://huggingface.co/docs/huggingface.js/inference/README|inference api]] ([[https://huggingface.co/inference-api|Price]] 滚动到底下) - [[https://huggingface.co/docs/transformers.js|Transformer.js]] - [[https://huggingface.co/Xenova|xenova 可以直接用的模型]] - [[https://huggingface.co/THUDM/codegeex2-6b|CodeGeex2]] / [[https://huggingface.co/bigcode/starcoder/tree/main|Starcoder(70GB)]] 最新代码模型 {{fa>book}} - [[https://www.bilibili.com/read/cv23898887/|使用 StarCoder 创建一个编程助手]] - [[https://huggingface.co/blog/zh/starcoder|最先进的代码大模型]] - [[https://tianchi.aliyun.com/course/956?spm=a2c22.28136470.0.0.57993f2czRiSez&from=search-list|基于transformers的自然语言处理]] 搜索支持Transformer的models - HF上选择Models页面， - Task - Embedding: Feature Extraction - 聊天: Question Answering - 分类: Text classification - 总结: Text Generation - Libraries: Transformers - Languages: Chinese, English, German - 如果没有ONNX的需要自行编译，因为Transformer本身是从python上来的。（参考{{fa>book}}[[https://huggingface.co/docs/transformers.js/custom_usage|onnx]]） ===== 语言模型 ===== Feature Extraction, Transformer, zh/en/de: * [[https://huggingface.co/setu4993/smaller-LaBSE/tree/main|smaller-LaBSE]] * [[https://huggingface.co/setu4993/LEALLA-large/tree/main|LEALLA-large]] / [[https://huggingface.co/setu4993/LEALLA-base/tree/main|LEALLA-base]] Question Answering * [[https://huggingface.co/IProject-10/xlm-roberta-base-finetuned-squad2/tree/main|Facebook 训练的模型]] Text generation * [[https://huggingface.co/facebook/xglm-564M/tree/main|xglm-564M]] (FB 的同模型4.5B参数需要10GB文件，太大了) **Langchain** * [[https://js.langchain.com/docs/get_started/installation|js.langchain]] {{fa>book}} * [[https://js.langchain.com/docs/api/chains/classes/RetrievalQAChain|RetrievalQAChain]] * [[https://js.langchain.com/docs/modules/model_io/models/llms/integrations/huggingface_inference|llms hf-inference]] / [[https://js.langchain.com/docs/modules/data_connection/text_embedding/integrations/hugging_face_inference|embedding inference]] * [[https://js.langchain.com/docs/modules/data_connection/vectorstores/integrations/mongodb_atlas|MongoDB]] ===== Task描述 ===== 在自然语言处理中,**Text Generation**(文本生成)主要指利用机器学习模型自动生成符合语义和语法的文本。它的典型使用场景包括: 文本摘要:读取长文本后生成简洁的摘要,用于快速获取关键信息。\\ 对话系统:根据对话上下文生成回复语句,用于构建智能对话机器人。\\ 翻译:输入一种语言后生成对应的不同语言版本,用于机器翻译。\\ 创作助手:辅助人类进行创作,如帮助写诗、小说、新闻等。\\ 语音识别:生成语音识别的文本转录。\\ 应用接口:根据结构化数据生成文本,如生成天气预报解说等。\\ Question Answering(问答)系统的主要应用场景是: 虚拟助手:回答用户的提问,提供问题解答服务。\\ 客户服务:解析用户问题,提供产品信息。\\ 教学系统:回答学生的问题。\\ 知识库问答:从知识库中检索答案,进行开放域问答。\\ 它与Text Generation的主要区别在于:\\ 目标不同:Text Generation侧重根据prompt开放生成文本;而Question Answering需要提取或推理得到问题的精确答案。\\ 输入不同:Question Answering需要同时输入问题及背景文本,从中推导答案;Text Generation只用输入prompt。\\ 生成方式不同:Text Generation通过模型自主生成;Question Answering需要从背景中抽取或推理得出。\\ 评估不同:Text Generation更关注生成文本的流畅性和连贯性;而Question Answering需要准确抽取答案。\\ 应用场景不同:Text Generation更偏向创作;而Question Answering更侧重信息检索。\\ 所以在实际使用中,根据是开放生成文本还是针对问题精确回答,来选择使用Text Generation或Question Answering模型。\\
it/ai/aiassistance.txt
· 最后更改: 2023-08-19 07:13 由
goldentianya
回到顶部
搜索
