★ FEATURED ARTICLE 人工智能大模型NLPRAG提示工程【免费下载链接】LLMLingua[EMNLP23, ACL24] To speed up LLMs inference and enhance LLMs perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.项目地址https://gitcode.com/gh_mirrors/ll/LLMLingua点击查看免费下载LLMLingua 系列LLMLingua、LongLLMLingua、LLMLingua-2是面向大语言模型LLM推理加速的提示词压缩工具集它用一个小型语言模型识别并删除提示词中非必要 token在保持性能的前提下将提示词压缩最高约 20 倍同时缩减 KV-Cache 以加速推理。本文以仓库 README.md 为骨架结合 prompt_compressor.py 源码与 DOCUMENT.md 文档系统讲解三套压缩方法的原理、安装使用、完整参数表、结构化压缩、JSON 压缩、与 LangChain / LlamaIndex 的集成以及自定义数据收集与模型训练流程帮助你在 RAG、长文档问答、思维链推理等场景中直接落地使用。一、为什么需要提示词压缩动机与收益在实际使用 ChatGPT / GPT-4 这类黑盒 LLM 时开发者常常会遇到三类问题见 README.md 的 Overview 一节在让 ChatGPT 总结超长文本时提示词长度撞上 token 上限经过大量微调后模型遗忘了提示词前部的指令按 token 计费的 GPT-3.5/4 API 在高频实验中成本高昂。LLMLingua 系列的解决思路不是修改 LLM 本身而是在提示词进入模型前先做压缩用一个小型语言模型评估每个 token 对语义的贡献删掉冗余部分再把压缩后的提示词送给大模型。这样带来的收益包括特性说明 成本节省同时缩短提示词与生成长度压缩开销极小 扩展上下文支持更长上下文缓解 lost in the middle 问题并提升整体性能⚖️ 稳健性无需对大模型做任何额外训练️ 知识保留保留 ICL上下文学习与推理链等关键信息 KV-Cache 压缩压缩推理过程中的 KV 缓存以加速推理 完整恢复GPT-4 能从压缩后的提示词中恢复出全部关键信息需要说明的是最高 20x 压缩与RAG 性能提升最多 21.4%仅用 1/4 token等数值出自 README.md 与对应论文的官方声明实际效果取决于语料与压缩参数建议按自己的数据验证。二、LLMLingua 系列三套方法概览2.1 LLMLingua基于困惑度的 token 级压缩EMNLP 2023README.md 的 TL;DR 指出LLMLingua 利用一个紧凑且训练良好的小型语言模型如 GPT2-small、LLaMA-7B来识别并删除提示词中的非必要 token从而实现高效的大模型推理最高约 20x 压缩且性能损失极小。论文信息LLMLingua: Compressing Prompts for Accelerated Inference of Large Language ModelsEMNLP 2023。从源码看其核心机制是困惑度PPL度量get_ppl 以小型模型默认NousResearch/Llama-2-7b-hf对每个 token 计算交叉熵损失损失越低代表该 token 越可预测、信息量越低优先被删除随后 iterative_compress_prompt 按iterative_size默认 200分块迭代执行压缩并在超出模型最大位置嵌入时对 KV-Cache 做滑动窗口式压缩源码中end self.max_position_embeddings分支。2.2 LongLLMLingua长上下文场景的压缩ACL 2024LongLLMLingua 针对长上下文场景缓解 LLM 的 lost in the middle中间遗忘问题。README 声明它通过提示词压缩降低成本、提升效率仅用 1/4 的 token 即可将 RAG 性能最多提升 21.4%。论文信息LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt CompressionACL 2024。其与 LLMLingua 的关键差异在源码中体现为必须提供 question当rank_methodlongllmlingua且未传question时compress_prompt 会直接断言报错问题感知压缩通过condition_in_questionbefore/after/none把问题拼接到文本前后计算条件困惑度见 get_condition_ppl衡量给定问题后该文本的不可预测性文档重排序reorder_contextsort可在压缩前对文档重排把与问题最相关的文档放到最前对抗中间遗忘动态压缩率dynamic_context_compression_ratio为不同文档分配差异化压缩比例实现见 get_dynamic_compression_ratio条件对比细粒度压缩condition_compareTrue开启迭代式 token 级问题感知细粒度压缩源码在iterative_compress_prompt中以self_loss对比分支实现。2.3 LLMLingua-2数据蒸馏驱动的任务无关压缩ACL 2024 FindingsLLMLingua-2 是一个小型但强大的提示词压缩器用 GPT-4 对数据进行蒸馏标注训练一个 BERT 级编码器做token 分类从而擅长任务无关压缩在域外数据上优于 LLMLingua且比 LLMLingua 快 3x-6x以上声明出自 README.md。论文信息LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt CompressionACL 2024 Findings。从源码看init_llmlingua2 固定随机种子为 42默认max_batch_size50、max_seq_len512、max_force_token100并向 tokenizer 注册[NEW0]~[NEW99]附加 token用于把多 token 的force_tokens映射为单 token保证强制保留随后resize_token_embeddings扩容词表。压缩时 __compress 对每个 chunk 做前向推理取softmax(logits)中类别 1 的概率作为保留概率再按token_to_word默认mean合并到词级别、依据保留概率与目标压缩率决定词的去留。三、快速上手安装与基础压缩3.1 安装pip install llmlingua3.2 第一个压缩示例使用默认模型NousResearch/Llama-2-7b-hf压缩一段数学应用题提示词指定目标 token 数为 200from llmlingua import PromptCompressor llm_lingua PromptCompressor() compressed_prompt llm_lingua.compress_prompt(prompt, instruction, question, target_token200) # {compressed_prompt: Question: Sam bought a dozen boxes, each with 30 highlighter pens inside, for $10 each box. ... The answer is 115, # origin_tokens: 2365, # compressed_tokens: 211, # ratio: 11.2x, # saving: , Saving $0.1 in GPT-4.}注意compress_prompt的第一个参数在源码签名中名为context可以传入单个字符串或字符串列表列表时按文档粒度切分更利于预算控制与重排序target_token与rate二选一源码中target_token优先prompt_compressor.py 只在target_token -1时才按rate折算目标 token。返回字典各字段含义源码 compress_prompt 与 DOCUMENT.md 的 Response 一节一致字段含义compressed_prompt压缩后的提示词origin_tokens原始提示词 token 数用 GPT-3.5-turbo 的 tiktoken 编码统计compressed_tokens压缩后 token 数ratio实际压缩倍数origin_tokens / compressed_tokens如11.2xrate实际压缩率剩余比例如8.9%即1 / ratiosaving按 GPT-4 单价估算的节省金额源码中为(origin_tokens - compressed_tokens) * 0.06 / 1000美元3.3 更换小型模型phi-2 与 GPTQ 量化模型除了默认的 Llama-2-7BLLMLingua 也支持更小的压缩器模型README 与 DOCUMENT.md 的 Utilizing Small Models 一节## 使用 phi-2 模型 llm_lingua PromptCompressor(microsoft/phi-2) ## 使用 GPTQ 量化模型仅需 8GB 显存使用前先安装依赖 ## pip install optimum auto-gptq llm_lingua PromptCompressor(TheBloke/Llama-2-7b-Chat-GPTQ, model_config{revision: main})社区已适配 phi-2使用前建议将 transformers 升级到较新版本DOCUMENT.md 中给出pip install -U githttps://github.com/huggingface/transformers.git的指引实际以你的环境版本为准。从源码的 load_model 看PromptCompressor会自动根据模型架构选择AutoModelForCausalLM或AutoModelForTokenClassificationLLMLingua-2 类模型并支持device_map的cuda/cpu/mps等取值量化模型的torch_dtype与trust_remote_code均通过model_config透传。四、LongLLMLingua在 RAG 与长上下文场景中使用4.1 基础调用from llmlingua import PromptCompressor llm_lingua PromptCompressor() compressed_prompt llm_lingua.compress_prompt( prompt_list, questionquestion, rate0.55, # 以下为 LongLLMLingua 专有参数 condition_in_questionafter_condition, # 问题感知条件压缩 reorder_contextsort, # 按与问题的相关性重排文档 dynamic_context_compression_ratio0.3, # 或 0.4动态压缩率 condition_compareTrue, # 迭代式 token 级问题感知细粒度压缩 context_budget100, # 上下文级预算 rank_methodlongllmlingua, # 粗粒度排序方法 )注意 DOCUMENT.md 示例中该参数写作ratio而仓库源码的实际参数名为rateprompt_compressor.py以源码为准rate表示目标压缩率剩余比例源码断言其必须 1.0。4.2 在 RAG 管道中的实测用法6x 与 10x 压缩examples/RAG.ipynb 给出了完整的 RAG 示例以 NaturalQuestions 的 20 文档检索任务为背景把检索出的文档拆成列表传给compress_prompt先比较原始提示词的错误回答再在压缩后提示词上重新提问compressed_prompt llm_lingua.compress_prompt( demonstration_str.split(\n), # 文档按行切分成为 context 列表 instructioninstruction, questionquestion, target_token500, # 6x 压缩改为 100 即 10x 压缩 condition_compareTrue, condition_in_questionafter, rank_methodlongllmlingua, use_sentence_level_filterFalse, context_budget100, dynamic_context_compression_ratio0.4, # 启用动态压缩率 reorder_contextsort, # 启用文档重排序 )这也是对抗 lost in the middle 的典型组合reorder_contextsort先按问题相关性重排文档dynamic_context_compression_ratio让高相关文档压缩更少、低相关文档压缩更多从而在预算内优先保留关键证据。更系统的检索能力对比实验见 examples/Retrieval.ipynb调用llm_lingua.get_rank_results比较各排序方法在 20 文档场景下的召回率。五、LLMLingua-2任务无关的高效压缩5.1 模型选择与调用LLMLingua-2 提供 large 与 small 两个官方预训练压缩器模型名取自 README 示例均为 Hugging Face 上发布的 checkpointfrom llmlingua import PromptCompressor ## LLMLingua-2 largeXLM-RoBERTa-large 底座 llm_lingua PromptCompressor( model_namemicrosoft/llmlingua-2-xlm-roberta-large-meetingbank, use_llmlingua2True, # 启用 llmlingua-2 ) compressed_prompt llm_lingua.compress_prompt(prompt, rate0.33, force_tokens[\n, ?]) ## 或使用 LLMLingua-2 smallBERT-base 多语言底座 llm_lingua PromptCompressor( model_namemicrosoft/llmlingua-2-bert-base-multilingual-cased-meetingbank, use_llmlingua2True, )5.2 LLMLingua-2 特有参数参数默认值作用force_tokens[]在压缩结果中强制保留的 token 列表如[\n, ?, ., !]多 token 词会被映射为注册的[NEW{i}]附加 token 以保证强制保留force_reserve_digitFalse是否强制保留含数字0-9的 token对数学题等场景尤其重要drop_consecutiveFalse是否丢弃在压缩结果中连续出现的force_tokens冗余项chunk_end_tokens[., \n]切分 chunk 时的提前终止 tokenreturn_word_labelFalse为True时返回fn_labeled_original_prompt原始词及其保留标签word label_sep label格式word_sep默认\t\t|\t\tlabel_sep默认 token_to_wordmean把 token 级保留概率合并为词级概率的方式mean等target_context/context_level_rate/context_level_target_token-1/1.0/-1粗粒度上下文级压缩的预算控制用于 coarse-to-fine 两级压缩max_batch_size初始化参数50前向推理的批大小max_force_token初始化参数100可强制保留的最大 token 数源码中assert len(force_tokens) self.max_force_token5.3 场景化用法MeetingBank / LongBench / GSM8Kexamples/LLMLingua2.ipynb 展示了会议纪要问答MeetingBank、长文档问答LongBench与数学推理GSM8K三个场景的完整对比流程先用原始提示词调用 GPT-4-32k 得到往往失败的基准回答再用压缩后的提示词重测。关键参数组合包括# 会议纪要问答强制保留标点与换行并去重连续强制 token compressed_prompt llm_lingua.compress_prompt( context, rate0.33, force_tokens[!, ., ?, \n], drop_consecutiveTrue, ) # LongBench 多文档问答按 Passage 切分并开启上下文级过滤 compressed_prompt llm_lingua.compress_prompt( context_list, target_token2000, force_tokens[\nPassage:, ., ?, \n], drop_consecutiveTrue, use_context_level_filterTrue, ) # GSM8K 数学推理强制保留运算符、等号、答案前缀与数字 compressed_prompt llm_lingua.compress_prompt( prompt_complex.split(\n\n), target_token150, force_tokens[, -, *, ×, /, ÷, , The answer is, \n], drop_consecutiveTrue, force_reserve_digitTrue, use_context_level_filterTrue, )评测侧的官方压缩命令可参考 experiments/llmlingua2/evaluation/scripts/compress.sh其中 LongBench 用--target_token 2000、GSM8K 用--force_tokens ,-,*,×,/,÷,,The answer is,\n --force_reserve_digit --use_context_level_filter与 notebook 的用法一致。六、结构化提示词压缩与 JSON 压缩6.1 用llmlingua标签控制段落级压缩结构化压缩允许你把文本切成多个 section逐段决定是否压缩与压缩率README 与 DOCUMENT.md 的 Structured Prompt Compression 一节。语法是llmlingua, rate0.4.../llmlingua与llmlingua, compressFalse.../llmlinguastructured_prompt llmlingua, compressFalseSpeaker 4:/llmlinguallmlingua, rate0.4 Thank you. And can we do the functions for content? Items I believe are 11, three, 14, 16 and 28, I believe./llmlinguallmlingua, compressFalse Speaker 0:/llmlinguallmlingua, rate0.4 Item 11 is a communication from Council on Price ... Item 28 is a communication. Communication from Vice Mayor Richardson and Council Member Muranga. .../llmlinguallmlingua, compressFalse Speaker 4:/llmlinguallmlingua, rate0.6 We have a promotion and a second time as councilman served Councilman Ringa and customers and they have any comments./llmlingua compressed_prompt llm_lingua.structured_compress_prompt( structured_prompt, instruction, question, rate0.5 ) print(compressed_prompt[compressed_prompt])从输出可见compressFalse的段落说话人标识被原样保留rate0.4/rate0.6的段落按各自比例压缩——这正是结构化会议纪要场景中保留说话人、压缩冗余发言的推荐做法。端到端测试含 JSON 与会议纪要混合输入见 tests/test_llmlingua.py 的test_general_structured_compress_prompt。6.2 compress_json按 key-value 粒度压缩 JSONDOCUMENT.md 的 Compress Json data 一节说明通过一个 config或 yaml 文件为每个 key 指定rate该 value 的压缩率、compress是否压缩、value_type值类型、pair_remove该键值对是否可整体删除json_data { id: 987654, name: John Doe, skills: [Java,Python,Machine Learning,Cloud Computing,AI Development], biography: John Doe, born in New York in 1985, is a renowned software engineer ..., } json_config { id: {rate: 1, compress: False, value_type: int, pair_remove: True}, name: {rate: 0.7, compress: False, value_type: str, pair_remove: False}, skills: {rate: 0.2, compress: True, value_type: list, pair_remove: True}, biography:{rate: 0.3, compress: True, value_type: str, pair_remove: True}, } compressed_prompt llm_lingua.compress_json(json_data, json_config, use_keyvalue_level_filterTrue) print(compressed_prompt[compressed_prompt]) # {id: 987654, name: John Doe, skills: [, , , , AI], biography: ,York in a has several ...}从源码看compress_json 先调用process_structured_json_data把 JSON 展开为带 force 标记的上下文再复用structured_compress_prompt完成压缩最后用remove_consecutive_commas清理并json.loads还原为字典返回。七、核心参数全解7.1 PromptCompressor 初始化参数DOCUMENT.md 的 Detailed of Pramater 一节给出了完整初始化示例from llmlingua import PromptCompressor llm_lingua PromptCompressor( model_nameNousResearch/Llama-2-7b-hf, # 默认模型LLMLingua-2 用上面两个 meetingbank checkpoint device_mapcuda, # 计算设备cuda、cpu、mps、balanced、auto 等 model_config{}, # 传给 Hugging Face 的模型配置如 {revision: main} open_api_config{}, # OpenAI Embedding 配置用于粗粒度压缩如 api_key use_llmlingua2False, # 是否启用 LLMLingua-2 压缩器 )7.2 compress_prompt 完整参数表以下参数签名与默认值与源码 compress_prompt 保持一致参数默认值说明context必填上下文/文档/示例列表压缩敏感度低可传str或List[str]instruction指令压缩敏感度高默认不压缩、原样保留在结果开头question问题压缩敏感度高concate_questionTrue时拼接在结果末尾rate0.5目标压缩率剩余比例需 1.0与target_token二选一target_token优先target_token-1压缩后目标 token 数-1表示不指定iterative_size200迭代式 token 级压缩的每次处理段大小force_context_idsNone强制保留的 context 索引列表force_context_numberNone强制保留的 context 数量use_sentence_level_filterFalse是否启用句子级压缩use_context_level_filterTrue是否启用上下文文档级压缩use_token_level_filterTrue是否启用 token 级压缩核心步骤keep_splitFalse是否保留提示词中的\n\n分隔符keep_first_sentence/keep_last_sentence/keep_sentence_number0每个 context 强制保留的首/尾/总数句子high_priority_bonus100上述强制保留句子的优先级加分context_budget100上下文级压缩预算支持*1.5或100形式token_budget_ratio1.4句子级压缩的预算比例condition_in_questionnone问题感知压缩方式none、before、afterLongLLMLingua 建议after_conditionreorder_contextoriginal压缩前文档重排序original、sort、two_stagedynamic_context_compression_ratio0.0LongLLMLingua 动态压缩率建议 0.3-0.4condition_compareFalseLongLLMLingua 迭代式 token 级问题感知细粒度压缩开关add_instructionFalse是否在压缩结果前缀加入指令rank_methodllmlingua粗粒度排序方法详见 7.3concate_questionTrue是否把问题拼到压缩结果末尾force_tokens等见 5.2LLMLingua-2 专有参数与 5.2 表一致7.3 rank_method 支持的排序方法DOCUMENT.md 与源码 get_rank_results 共同确认rank_method支持以下取值压缩方法内置llmlinguaLLMLingua 粗粒度压缩、longllmlingua问题感知粗粒度压缩RAG 推荐传统检索bm25词袋检索、gzip基于 GZIP 压缩距离的检索Embedding 检索sentbert、openaitext-embedding-ada-002、bgeBAAI/bge-large-en-v1.5、voyageai、jinzajina-embeddings-v2-base-enRerankerbge_rerankerBAAI/bge-reranker-large、bge_llmembedderBAAI/llm-embedder、coherererank-english-v2.0。其中openai类的 API 密钥通过初始化时的open_api_configapi_key、api_base、api_type、api_version、engine传入。八、与 LangChain 和 LlamaIndex 的集成README 的 News 说明 LLMLingua 已集成到 LangChain 与 LlamaIndex 两个主流 RAG 框架DOCUMENT.md 给出了可直接运行的集成代码。8.1 LangChainContextualCompressionRetrieverfrom langchain.retrievers import ContextualCompressionRetriever from langchain_community.retrievers.document_compressors import LLMLinguaCompressor from langchain_openai import ChatOpenAI llm ChatOpenAI(temperature0) compressor LLMLinguaCompressor(model_nameopenai-community/gpt2, device_mapcpu) compression_retriever ContextualCompressionRetriever( base_compressorcompressor, base_retrieverretriever ) compressed_docs compression_retriever.get_relevant_documents( What did the president say about Ketanji Jackson Brown )8.2 LlamaIndexLongLLMLinguaPostprocessorfrom llama_index.query_engine import RetrieverQueryEngine from llama_index.response_synthesizers import CompactAndRefine from llama_index.indices.postprocessor import LongLLMLinguaPostprocessor node_postprocessor LongLLMLinguaPostprocessor( instruction_strGiven the context, please answer the final question, target_token300, rank_methodlongllmlingua, additional_compress_kwargs{ condition_compare: True, condition_in_question: after, context_budget: 100, reorder_context: sort, # 启用文档重排序 dynamic_context_compression_ratio: 0.4, # 启用动态压缩率 }, )完整的分步 notebook 见 examples/RAGLlamaIndex.ipynb。九、进阶结果恢复与使用原则9.1 用 recover 恢复原始表述压缩提示词得到的回答往往保留了关键语义但措辞被压缩化。DOCUMENT.md 的 Post-Processing 一节提供了recover方法把基于压缩提示词的回答回填为基于原始提示词的表述recovered_response llm_lingua.recover( original_prompt, # 原始提示词 compressed_prompt, # 压缩后的提示词 response, # 黑盒 LLM 基于压缩提示词给出的回答 )从源码 recover 看其原理是在原始提示词的 token 序列中为回答里的每个词做子序列匹配用 bisect 在 token 位置索引上搜索把匹配片段替换回原始 token 的完整解码结果未在压缩提示词中出现的词则原样保留。9.2 四条使用原则来自 DOCUMENT.md提示词敏感性分离指令、问题对压缩更敏感应尽量原样保留上下文/文档压缩敏感度低。建议在提示词中把演示、指令、问题分开放置细粒度划分多文档问答与 few-shot 场景中把演示与上下文划分为独立粒度便于预算控制与文档重排序保留关键字符按场景规则强制保留必要字符该能力已在结构化压缩与 LLMLingua-2 中支持compressFalse标签、force_tokens等用实验调优多尝试不同的目标压缩率与其他超参数组合以逼近最优效果。十、LLMLingua-2 自定义数据收集与模型训练如果你在特定领域语料上效果不佳仓库提供了完整的GPT-4 蒸馏 → 标注 → 过滤 → 训练流水线见 experiments/llmlingua2/README.md 与 data_collection 目录。10.1 数据收集官方收集的 MeetingBank 压缩数据集中每个样本含prompt/compressed_prompt整篇压缩结果与prompt_list/compressed_prompt_list分块列表。构造自定义数据集的步骤DOCUMENT.md 的 Data collection 一节Step 1格式化数据。把你的数据整理为 dict 列表每个 dict 至少包含idx与prompt两个键参考 format_data.pycd experiments/llmlingua2/data_collection/ python compress.py --load_origin_from your data path \ --chunk_size 512 \ --compressor llmcomp \ --model_name gpt-4-32k \ --save_path compressed data save pathStep 2标注原始词的保留标签。基于 GPT-4 的压缩结果给原文每个词打标签label_word.py内部用window_size400的对齐窗口python label_word.py \ --load_prompt_from compressed data save path \ --window_size 400 \ --save_path labeled data save pathStep 3过滤劣质样本。剔除压缩/标注质量差的样本python filter.py --load_path labeled data save path \ --save_path kept data save path10.2 模型训练与评测在蒸馏数据上训练压缩器model_training 目录入口 train_roberta.pycd experiments/llmlingua2/model_training/ python train_roberta.py --data_path kept data save path训练依赖scikit-learn与tensorboardexperiments/llmlingua2/README.md。评测方面仓库提供了针对 GSM8K、BBH、LongBench、ZeroSCROLLS、MeetingBank QA / Summary 等基准的压缩与评测脚本evaluation/scripts 的 compress.sh 与 evaluate.sh可先在基准语料上复现压缩效果再评估下游任务。十一、测试与验证仓库自带端到端测试 tests/test_llmlingua.py覆盖三类场景GSM8K 单/多 context 压缩压缩到 150 token断言origin_tokens、compressed_tokens、ratio、rate的具体数值、结构化 JSON 压缩压缩后仍能被json.loads解析、会议纪要结构化压缩。tests/test_llmlingua2.py与tests/test_longllmlingua.py分别覆盖 LLMLingua-2 与 LongLLMLingua 路径。这些测试既可用作安装后的功能验证也是理解各参数组合行为的可运行参考样例。结语LLMLingua 系列把提示词压缩做成了一个开箱即用的工具包LLMLingua 提供通用的 PPL 压缩基线LongLLMLingua 针对长上下文与 RAG 增加问题感知、文档重排与动态压缩率LLMLingua-2 则用 BERT 级 token 分类器实现更快、更稳的任务无关压缩。实际使用时遵循指令与问题尽量保留、上下文按文档粒度切分、用force_tokens保住关键字符、以reorder_context对抗中间遗忘这几条原则即可在成本与效果之间取得良好平衡。更完整的场景化 notebook 可继续查看 examples 目录RAG、CoT、Code、OnlineMeeting、LLMLingua2 等FAQ 见 Transparency_FAQ.md。赞分享人工智能大模型NLPRAG提示工程【免费下载链接】LLMLingua[EMNLP23, ACL24] To speed up LLMs inference and enhance LLMs perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.项目地址https://gitcode.com/gh_mirrors/ll/LLMLingua点击查看免费下载相关推荐LLMLingua实战RAG场景下的提示压缩应用LLMLingua实战RAG场景下的提示压缩应用 在当今AI应用快速发展的时代 LLMLingua 作为微软推出的革命性提示压缩技术正在彻底改变我们与大语人工智能大模型NLPRAG提示工程LLMLingua结构化提示压缩精细控制压缩率的完整指南LLMLingua结构化提示压缩精细控制压缩率的完整指南 LLMLingua是一款强大的提示压缩工具能够显著加速大型语言模型LLMs的推理过程同时增强人工智能大模型NLPRAG提示工程深入解析LLMLingua系列高效提示词压缩技术指南深入解析LLMLingua系列高效提示词压缩技术指南 引言 在大型语言模型 LLM 应用中提示词 prompt 的长度直接影响模型性能和成本。LLMLing人工智能大模型NLPRAG提示工程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
