大模型基本概念扫盲-1

人工智能人工智能Artificial Intelligence英文缩写为 AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能是计算机科学的一个分支它企图了解智能的实质并生产出一种新的能以人类智能相似的方式做出反应的智能机器该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。机器学习机器学习Machine Learning英文缩写为 ML是人工智能的一个子领域其核心不再是手动编写规则而是通过数据训练算法让计算机从历史样本中自动总结规律用以预测或决策新问题。人工智能和机器学习到底是什么关系呢人工智能是目标机器学习是实现该目标的主要手段。当代人工智能≈基于机器学习的人工智能。本质给定输入 x 和输出 y让机器自己找到那个函数 f(x) ≈ y。根据反馈信号分类监督学习监督学习是机器学习和人工智能中的一种算法学习训练方式。模型通过标记好的训练数据进行学习目标是建立输入与输出之间的映射关系。监督学习靠“外部标准答案”人工标签反馈。有对错直接纠正。无监督学习无监督学习的核心定义可以概括为在完全没有“标签”即标准答案的情况下让算法自行从输入数据中发现隐藏的结构、规律或模式靠“数据内在结构”反馈。没有对错只找规律。半监督学习半监督学习利用少量“有标签”的数据带标准答案和大量“无标签”的数据无答案共同进行训练以此来提升模型的预测精度。自监督学习自监督学习Self-Supervised LearningSSL是一种让机器学习模型“自学成才”的范式。它最大的特点是不需要昂贵的人工标注数据而是从海量的无标签原始数据中自动“创造”出训练所需的“标签”或“监督信号”。强化学习强化学习通过与环境交互来学习。它没有直接的标签而是通过“奖励”或“惩罚”来优化行为策略目标是获得最大的长期累积奖励。它的核心逻辑和我们训练宠物狗一模一样做对了给块肉干奖励做错了轻轻呵斥惩罚。久而久之它就知道在什么情况下该做什么事以获得最多的肉干。按学习任务分类分类Classification分类是一种监督学习任务旨在根据输入数据的特征将其划分到预先定义好的、离散的类别标签中。机器学习可以通过对已知类别的数据进行学习从而对未知类别的数据进行分类。比如在垃圾邮件识别中机器学习算法可以通过学习已知的垃圾邮件和非垃圾邮件来判断一封新收到的邮件是否是垃圾邮件。分类问题的常见算法有 K 近邻算法、逻辑回归、朴素贝叶斯、决策树、随机森林、支持向量机SVM 算法等。回归Regression回归是一种监督学习任务旨在建立一个数学模型来拟合输入特征与连续数值型输出之间的映射关系。机器学习可以通过对已知的数据进行学习从而对新的数据进行预测。比如在股票市场中机器学习算法可以通过学习历史股票价格数据来预测未来的股票价格。回归问题的常见算法有线性回归等。聚类Clustering聚类是一种无监督学习任务旨在在没有预先给定类别标签的情况下根据数据样本之间的内在相似性自动将其划分为若干个不相交的簇Group。机器学习可以将数据按照一定的特征进行聚类从而将相似的数据归为一类。比如在客户分析中机器学习算法可以通过学习客户的购买行为和喜好将相似的客户归为一类从而对不同的客户群体进行针对性的营销。聚类算法属于无监督学习常见的算法有 K 均值算法K-means、层次聚类、DBSCAN、高斯混合模型GMM等。关联规则Association Rule Learning关联规则是一种无监督学习任务旨在从大规模数据集中发现变量或项之间有趣的隐含依赖关系或共生模式通常表示为“X→Y”的蕴含式。机器学习可以从大规模数据中发现变量之间的有趣关联或频繁模式。例如在超市购物篮分析中通过分析顾客购买记录可以找出“购买尿不湿的顾客往往也会购买啤酒”这样的关联规则从而优化商品陈列和促销策略。常见的算法有 Apriori 算法、FP-Growth 算法等。序列预测Sequence序列预测简单来说就是利用过去一串有顺序的数据来推断未来接下来会发生什么。它的核心在于数据点之间存在顺序依赖性非独立同分布。机器学习可以利用历史序列数据来预测未来的元素或趋势。比如在自然语言处理中模型可以根据已生成的文字预测下一个单词从而实现文本自动补全或机器翻译。序列预测的常见算法有循环神经网络RNN、长短期记忆网络LSTM、门控循环单元GRU、Transformer 等。深度学习深度学习Deep Learning英文缩写为 DL是一种机器学习的分支它是通过构建多层神经网络来实现自主学习和预测的能力。深度学习的核心是深度神经网络它由多个层次的神经元组成每一层都可以提取出不同的特征信息从而实现对复杂数据的学习和预测。深度学习的应用范围非常广泛包括图像识别、语音识别、自然语言处理等领域。相比于传统机器学习如 SVM、决策树需要人工设计特征特征工程深度学习的本质区别在于它不仅能自动学习参数权重更重要的是它能通过多层结构自动从原始数据中逐层构建出高层次的抽象特征如从像素到边缘再到轮廓最后到物体部件从而避免了传统机器学习中繁琐的人工特征工程。机器学习我们知道了几百上千万的参数这些参数如何表示呢就是目前流行的神经网络neural network神经网络的参数学习就是深度学习典型的神经网络架构如下所示。神经网络由多个层组成包括输入层Input Layer接收原始输入数据。隐藏层Hidden Layer对输入数据进行处理可以有多个隐藏层。输出层Output Layer产生最终的输出结果。如果用数学语言描述深度学习的本质它不再是简单的 yf(x)而是y f(...f(f(x))...)这里的每个 f 通常代表神经网络的一层Layer而整个模型就是这些层功能的逐级嵌套。计算机视觉计算机视觉是人工智能的核心领域之一目标是让机器“看懂”世界——从图像或视频中提取信息、理解内容并做出决策。它涉及多个交叉学科包括计算机科学、数学、神经科学等。图像分类图像分类Image Classification是计算机视觉中最基础也是最核心的任务给定一张输入图像算法需要从预定义的类别集合中指定一个最能描述该图像内容的标签。直白点就是识别图中“是什么”。目标检测目标检测可以理解为一个核心问题它不仅需要回答“图像里有什么”还要回答“它们在哪里”。简单来说目标检测的任务是识别What确定图像中物体的类别如人、车、猫。定位Where用一个边界框精确框出每个物体的位置。语义分割语义分割是计算机视觉中比目标检测更进一步的任务。如果说目标检测关心的是“在哪里有什么画框”那么语义分割关心的是“每个像素是什么”。简单来说语义分割的目标是将图像中的每一个像素点都划分到对应的类别中如人、车、天空、道路等。Roboflow Playground: Test Compare Vision AI Models Free实例分割在图像或视频中实例分割Instance Segmentation是将每个感兴趣的物体的轮廓精确描绘出来并且区分开同一类别的不同个体。目标跟踪目标检测关注的是单张图片而目标跟踪关注的是视频流。在视频的第一帧给定一个目标或者模型自动检测出目标在后续的帧中持续定位这个目标的位置。核心在于建立时序上的关联知道“这一帧的物体就是上一帧的那个物体”。关键点检测关键点检测不关心物体的轮廓它只寻找那些能定义形状的特定坐标 (x, y)。文字与符号识别OCR文字与符号识别通常被归为光学字符识别OCROptical Character Recognition的范畴是计算机视觉中专门处理图像中的文字和符号的任务。它的目标是让计算机像人一样从图片、视频帧或扫描文档中“读”出文本内容并转化为可编辑、可搜索的字符信息。自然语言处理自然语言处理NLP是人工智能领域中以自然语言文本离散符号为核心处理对象研究如何建立人类语言形式与机器可计算语义之间可逆映射关系的学科。它旨在赋予计算机具备对语言符号进行形态分析、语义理解、逻辑推理及连贯生成的能力从而消除人类自然语言的模糊性、歧义性与机器严格指令系统之间的鸿沟。研究方向自然语言理解NLU让机器理解人类想表达的意思重点在于语义和意图。例如判断“我想吃苹果”是指水果还是指手机自然语言生成NLG让机器根据数据或意图生成人类可读的文本重点在于流畅度和准确性。例如写新闻稿、写邮件回复、生成诗歌。语音处理语音处理是一门涉及信号处理、计算机科学、语言学和人工智能的交叉学科核心目标是让机器能够分析、理解、合成和处理人类的语音信号。语音识别语音识别ASRAutomatic Speech Recognition即语音转文字是将人类语音中的词汇内容转换为计算机可读的文本或指令的过程。目前的系统通常基于 Whisper、Paraformer 等先进架构。语音合成语音合成TTSText-to-Speech即文字转语音是让计算机将文本转换为自然、流畅且富有表现力的语音。目前的 TTS 模型如 VITS、NaturalSpeech、ChatTTS能够生成高度拟人、带有情感和韵律的语音甚至可以支持少样本克隆仅需几秒样本即可模仿特定人声。多模态“多模态”是人工智能领域的一个核心概念指同时处理、理解或生成两种及以上不同类型数据模态的技术。在人类认知中我们天然就是多模态的——通过视觉、听觉、触觉等多种感官来理解世界。常见的模态包括视觉图像、视频、图表、手势。听觉语音、音乐、环境声音。文本自然语言、符号、代码。传感器数据触觉压力、振动、深度图如激光雷达、惯性测量单元数据、体温等。生成式人工智能生成式人工智能Generative AI简称 GenAI是人工智能AI的一个分支它能够根据用户的输入自主地创造全新的内容例如文本、图像、音频、视频和代码等。它标志着 AI 从“分析世界”到“创造世界”的跨越。生成式人工智能是人工智能领域的重要分支一类通过学习数据中的内在规律和分布能够生成在结构上复杂、在组织上符合逻辑、在表现上具有整体一致性的全新内容的人工智能系统。这里的“内容”可以是文本、图像、音频、代码、视频等。大语言模型“大语言模型”Large Language Model简称 LLM是当前人工智能领域的核心突破。它通过海量的文本数据训练参数规模达数十亿以上使机器能够像人类一样理解、生成和处理语言。大语言模型可以理解为一个通过海量文本训练而成的、拥有巨量参数的、能理解和生成人类语言的概率模型。生成式人工智能是一个广泛的领域或技术类别而大语言模型是实现这个领域目标的最核心、最成熟的一种技术路径特别专注于文本的生成。