兼一书虫

概述 PyG Documentation PyG(PyTorch Geometric)是一个建立在 PyTorch 基础上的库，用于轻松编写和训练图神经网络(GNN)，用于与结构化数据相关的广泛应用 任务形态 GNN中常见任务：Graph级别任务、Node级别任务、Edge级别任务 包括：节点分类，节点连接预测，图相似度检测，异常检测，图分类 多层GNN不会改变图的拓扑结构，但是会改变点的特征，多层GNN处理可以扩大感受野 GCN和CNN有什么不同和相同点 不同点：图卷积中每个点的邻居数量是不确定的，图卷积中的数据输入格式不确定 相同点：GCN和CNN本质都需要对输入数据做特征提取，且都是根据某个点周围点的情况提取特征 GCN 可以处理 semi-supervised learning，即只有部分节点有标签的情况，计算损失时只用有标签的计算 GCN 的层数一般3~5层比较好，层数叠加可能导致反效果

切词等待… 关键词提取 自动关键词抽取研究综述2017 特征驱动的关键词提取算法综述2018 关键词提取研究综述2021 概述 概念 关键词提取技术是一种自然语言处理技术，旨在从给定的文本中自动识别出最具代表性和重要性的关键词或短语 关键词通常是文本中具有特殊含义、能够概括文本主题或内容的词语或短语 使用场景 关键词提取技术的目标是对文本进行语义分析和内容抽取，从而提取出最能代表文本主题和内容的关键词 这些关键词可以用于文本分类、信息检索、文本摘要、主题建模、信息过滤等自然语言处理任务 经典方法 关键词提取技术通常结合了文本的语言统计特征、词频分布、词性、上下文关系、语义相似度等多种信息源，以识别并提取出最相关和具有区分度的关键词 常见的关键词提取方法包括基于词频、TF-IDF、文本图结构、语言模型、图模型、深度学习等多种技术手段 关键词提取技术在信息处理、文本挖掘、自动化文档处理等领域具有重要应用价值，能够帮助人们更快速、准确地理解和处理大量文本信息 分类 NLP中关键字提取方法总结和概述 基于统计统计方法是最简单的。他们计算关键字的统计数据并使用这些统计数据对它们进 ...

LLM模型 什么是LLM（大语音模型） 概述Large Language Model(LLM)，也称为大型语言模型，是一种基于机器学习和自然语言处理技术的模型，它通过对大量的文本数据进行训练，来学习服务人类语言理解和生成的能力 LLM的核心思想是通过大规模的无监督训练来学习自然语言的模式和语言结构，这在一定程度上能够模拟人类的语言认知和生成过程 与传统的NLP模型相比，LLM能够更好地理解和生成自然文本，同时还能够表现出一定的逻辑思维和推理能力 近年来，LLM得到了广泛的应用，其中最具代表性的是谷歌的BERT和OpenAI的GPT系列。这些模型在多个自然语言处理领域已经取得了显著的成果，包括文本分类、命名实体识别、情感分析、机器翻译、自动问答等 然而，在实际应用中，LLM面临着更多的挑战 首先，LLM需要大量的计算资源和大规模的数据集来训练，这对于一般的企业和个人来说十分困难 其次，由于LLM模型的复杂性和计算量较大，对于实时的语言处理应用来说，LLM在应用效率和响应速度上还存在一定的局限性 因此，如何解决模型训练和应用过程中的计算性能和效率问题，是LLM面临的主要挑战之一 微调 ...

LLM模型 什么是LLM（大语音模型） 概述Large Language Model(LLM)，也称为大型语言模型，是一种基于机器学习和自然语言处理技术的模型，它通过对大量的文本数据进行训练，来学习服务人类语言理解和生成的能力 LLM的核心思想是通过大规模的无监督训练来学习自然语言的模式和语言结构，这在一定程度上能够模拟人类的语言认知和生成过程 与传统的NLP模型相比，LLM能够更好地理解和生成自然文本，同时还能够表现出一定的逻辑思维和推理能力 近年来，LLM得到了广泛的应用，其中最具代表性的是谷歌的BERT和OpenAI的GPT系列。这些模型在多个自然语言处理领域已经取得了显著的成果，包括文本分类、命名实体识别、情感分析、机器翻译、自动问答等 然而，在实际应用中，LLM面临着更多的挑战 首先，LLM需要大量的计算资源和大规模的数据集来训练，这对于一般的企业和个人来说十分困难 其次，由于LLM模型的复杂性和计算量较大，对于实时的语言处理应用来说，LLM在应用效率和响应速度上还存在一定的局限性 因此，如何解决模型训练和应用过程中的计算性能和效率问题，是LLM面临的主要挑战之一 主 ...

huggingface概述 Hugging Face 官网任务分类和示例 LLM高效调参_PEFT库简介及使用 Hugging Face是一个知名的开源社区和公司，专注于自然语言处理(NLP)和机器学习(ML)领域。他们开发了许多流行的开源工具和库，使得构建和应用NLP模型更加便捷 Hugging face起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来。目前已经共享了超100,000个预训练模型，10,000个数据集，变成了机器学习界的github 在这里主要有以下大家需要的资源 Datasets：数据集，以及数据集的下载地址 Models：包括各种处理CV和NLP等任务的模型，上面模型都是可以免费获得 主要包括计算机视觉、自然语言处理、语音处理、多模态、表格处理、强化学习 course：免费的nlp课程 docs：文档 展开细节 Computer Vision(计算机视觉任务)：包括lmage Clas ...

模型压缩概述 深度学习模型压缩与加速七大方法总结！ 随着深度学习的发展与高性能GPU处理能力的增强，神经网络结构变得越来越复杂，模型参数量也越来越庞大，这使得深度学习在移动嵌入式设备上的部署遇到巨大的困难和挑战 因此，如何在不影响深度学习模型性能的情况下进行模型压缩与加速成为了研究热点 在深度学习中，模型压缩是一种通过减小模型的大小、参数数量或计算量来降低模型复杂度的技术。以下是一些常见的模型压缩技术： 参数剪枝(Pruning)：通过剪除模型中不重要的连接或参数，减少模型的参数数量和计算量。剪枝可以基于权重的重要性进行，剪除较小的权重或通过稀疏化技术将权重设置为零 权重共享(Weight Sharing)：将模型中的一些权重共享，减少模型中需要存储的参数数量。这可以通过对权重进行聚类或使用哈希函数将相似的权重映射到同一个值来实现 低秩近似(Low-Rank Approximation)：通过将模型的权重矩阵分解为较低秩的矩阵乘积形式，减少模型的参数数量。常见的方法包括奇异值分解(SVD)和矩阵分解技术 知识蒸馏(Knowledge Distillation)：将一个复杂的模型的 ...

语文从我身边走过 Your browser does not support the audio element.         语文从我身边倘徉而过，留下唐风宋韵的淋漓酣畅！         语文从我身边流淌而过，留下诗林词苑的慷慨激昂！         语文从我身边飘然而过，留下美文小说的婉转悠扬！         朦胧中芳香扑鼻，是满园春色中，那枝出墙红杏的香甜之味？还是夏日荷塘那靖蜓伫立小荷所溢的清幽？是重阳菊花怒放带出怡人的淡雅之香？还是冬日山园小梅凌寒傲雪浮动的暗香？         如果你是“大漠孤烟直，长河落日圆”的边塞大漠，我愿飞奔在漫天黄沙里；如采你 ...

图像分割UNet U-Net: Convolutional Networks for Biomedical Image Segmentation 2015 图像分割必备知识点 | Unet详解 理论+ 代码 U-Net是一种常用的卷积神经网络结构，特别适用于图像分割任务。它由Olaf Ronneberger等人在2015年提出，并因其在生物医学图像分割中的出色表现而受到广泛关注 U-Net的整体结构呈U字形，因此得名。它包含两个主要部分：编码器(Encoder)和解码器(Decoder) 编码器由一系列卷积层和池化层组成，用于提取图像中的特征并逐渐缩小感受野 解码器由一系列反卷积层和跳跃连接(Skip Connection)组成，用于将编码器提取的特征映射重新放大，并与解码器中的特征进行融合 跳跃连接的作用是将底层的细节信息传递给解码器，有助于更好地恢复分割结果的细节 U-Net的设计思想是在特征提取的同时保留更多的上下文信息，以及保留高分辨率的细节。通过编码器和解码器之间的特征传递和融合，U-Net能够同时获得局部和全局的上下文信息，并生成细致准确的分割结果 由于其简单而有效 ...

优化算法最优化是指非线性最优化，解非线性最优化的方法有很多 比如梯度下降法、共轭梯度法、变尺度法和步长加速法等 参考本站链接机器学习_最优化方法 概述 pytorch优化器 飞浆官方文档，总结到位 深度学习优化器方法及学习率衰减方式综述 An overview of gradient descent optimization algorithms 1847 1951 1983 2011 2012 GD(BGD) SGD SGDM(Momentum)、NAG AdaGrad Adadelta、RMSprop 2015 2016 2018 Adam、AdaMax Nadam AMSGrad 相对应的论文 A Stochastic Approximation Method SGD 1951 Learning representations by back-propagating errors Momentum 1983 A method for unconstrained convex minimization problem w ...

概述 一文看尽深度学习中的各种损失函数 常用的损失函数合集 深度学习常用损失函数的基本形式、原理及特点 Loss Functions 损失函数(Loss Function)是用来衡量模型预测值与真实值之间差异的函数，它是深度学习中的一个重要组成部分，用于评估模型的性能并指导模型的优化过程 损失函数、代价函数、目标函数的关系 损失函数(Loss Function)：损失函数是用来衡量模型在单个样本上的预测结果与真实标签之间的差异。它是一个标量值，表示模型预测的误差或损失程度。损失函数通常是针对单个样本计算的，例如均方误差(MSE)、交叉熵损失等。在训练过程中，通过最小化损失函数来优化模型参数，使模型的预测结果与真实标签更接近 代价函数(Cost Function)：代价函数是指整个训练集上的平均损失或误差函数。代价函数是损失函数的求和或平均，用于衡量模型在整个训练集上的预测结果与真实标签之间的总体差异。代价函数通常是在训练过程中使用的，用于计算梯度并更新模型参数 目标函数(Objective Function)：目标函数是在训练过程中要最小化或最大化的函数，可以是损失函数或代价函 ...