WereAsh

激活函数是连接感知机和神经网络的桥梁 纯粹的层级关系之间如果只有线性关系的话，是不可能表示一个非线性的划分 h(x)可以将输入信号的加权总和转换为输出信号，引入非线性，起到“激活神经元”的作用，所以被称为激活函数 如果没有激活函数，整个神经网络就等效于单层线性规划，不论如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。 激活函数必须是非线性函数，使得神经网络能够学习和表示复杂的非线性关系。 Sigmoid$$\sigma(x) = \frac{1}{1 + e^{-x}}$$ 性质 输出范围：(0, 1)，适合表示概率。 单调性：单调递增。 光滑性：处处可导，导数 σ′(x)=σ(x)(1−σ(x)) 饱和性：当 ∣x∣很大时，导数趋近于 0（软饱和） 优点 输出有界，适合作为二分类的输出层。 缺点 梯度消失：两端饱和区导数接近 0，深层网络反向传播时梯度易消失。 非零中心：输出恒正（>0），导致后层输入全正，可能使权重更新呈锯齿状（梯度全正或全负），收敛变慢。 指数运算：计算量稍大。 Tanh（双曲正切）$$\tanh(x) = \frac{e^ ...

预训练模型早期自然语言处理方法通常针对每个具体任务单独训练模型，且严重依赖大量人工标注数据。虽然在部分场景下效果客观，但也暴露出显著局限： 语言知识难以复用：每个模型都需要从0开始训练，导致训练成本高、效率低 依赖高质量标注：在医疗、法律等专业领域，标注数据获得困难且代价高昂 为了解决这些问题，研究者提出了新的建模范式——“预训练+微调”： 预训练阶段：在大规模未标注语料训练模型，学习词汇、句法和上下文等通用语言规律 微调阶段：将预训练模型迁移至具体任务，仅需要少量标注数据即可完成任务适配 预训练语言模型几乎都建立在Transformer架构之上。相较于传统的RNN，具有以下优势： 并行计算效率高，适合大规模训练 上下文建模能力强。可捕捉距离依赖 结构通用灵活，可适配多任务类型 根据Transformer的使用方式不同，预训练模型大致可以分为三类 解码器（Decoder-only）模型：仅使用transformer解码器，代表模型为GPT（Generative Pre-trained Transformer），生成式预训练 编码器（Encoder-only）模型：仅使用t ...

Seq2Seq传统的自然语言处理任务（如文本分类、序列标注）以静态输出为主，其目标是预测固定类别或标签 现实许多应用需要模型动态生成新的序列，例如 机器翻译 文本摘要 问答系统 对话系统 这些任务具有两个关键共同点： 输入和输出均为序列 输入与输出序列动态可变 模型结构由一个编码器（Encoder）和一个解码器（Decoder）构成 编码器负责提取序列的语义信息，并将其压缩为一个固定长度的上下文（Context Vector） 解码器则基于该向量，逐步生成目标序列 编码器编码器主要由一个循环神经网络构成（RNN、LSTM、GRU） 在模型处理输入序列时，循环神经网络会依据接收每个token的输入，并在每个时间步更新隐藏状态。每个隐藏状态都携带了截至到当前位置为止的信息。随着时间序列推进，信息不断积累，最终会在最后一个时间步形成一个包含整句话信息的隐藏状态。 这个最后的隐藏状态就会作为上下文向量（context vector），传递给解码器，用于指导后续的序列生成 解码器解码器也是主要由一个循环神经网络构成（RNN、LSTM、GRU） 在每个时间步，模型都会根据前一时刻的隐藏 ...

设计模式 GoF书，提出了23种经典设计模式，并划分为三大类：创建型、结构型、行为型。 创建型模式关注对象的创建过程，将对象的创建与使用分离，使系统在创建对象时更加灵活。 单例模式：确保一个类只有一个实例，并提供一个全局访问点。适用于线程池、缓存、配置对象等。 工厂方法模式：定义一个创建对象的接口，但由子类决定实例化哪个类。使一个类的实例化延迟到其子类。 抽象工厂模式：提供一个创建一系列相关或依赖对象的接口，而无需指定它们具体的类。 建造者模式：将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。 原型模式：用原型实例指定创建对象的种类，并通过拷贝这些原型创建新的对象。 结构型模式关注类和对象的组合，通过继承或组合来构建更大的结构。 适配器模式：将一个类的接口转换成客户希望的另一个接口，使原本不兼容的类可以一起工作。 装饰器模式：动态地给一个对象添加一些额外的职责。比生成子类更灵活。 代理模式：为另一个对象提供一个替身或占位符，以控制对这个对象的访问（如远程代理、虚拟代理、保护代理）。 外观模式：为子系统中的一组接口提供一个一致的界面，定义一个高层接口，使子 ...

CNNCNN中新出现了卷积层（Convolution）和池化层（Pooling） 卷积层用于提取输入数据的局部特征 池化层用于降维，增加鲁棒性并防止过拟合 全连接层用于整合特征并输出结果 卷积层​ 在全连接层中，相邻层的神经元全部连接在一起，输出的数量可以任意决定，但是却忽视了数据的形状。比如，输入数据为图像时，图像通常是长、宽、通道方向上的3维数据，但是向全连接输入时却需要将其拉平为1维数据，这种情况下3维形状的数据中的空间信息可能被全连接层忽视掉。 ​ 而卷积层可以保持数据形状不变，即接受3维形状的输入数据后同样以3维形状将数据输出至下一层。在CNN中，卷积层的输入输出数据也称为特征图（feature map） 卷积运算：对于输入数据，卷积运算以一定间隔滑动卷积核的窗口并应用。将各个位置上卷积核的元素和输入的对应元素相乘，然后求和（也就是乘积累加求和、矩阵内积） 填充：在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0）。主要目的是为了调整输出数据的形状大小，避免多次卷积后数据形状大小过小导致无法继续进行卷积运算。运用填充可以令数据形状在经过卷积运算后保持不变 ...

2017华工软院机试第一题输入一个字符串，要求输出能把所有的小写字符放前面，大写字符放中间，数字放后面，并且中间用空格隔开，如果同种类字符间有不同种类的字符，输出后也要用字符隔开 例如： 输入 12abc3KF12 输出 abc KF 12 3 12 输入 rwr21r3hello666world 输出 rwr r hello world 21 3 666 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364package com.wereash.scut_hot100;import java.util.ArrayList;import java.util.List;import java.util.Scanner;/** * @Author: WereAsh * @Date:2026-02-25 21:21 **/public class Solution2017 { public s ...

283.移动零给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。 请注意 ，必须在不复制数组的情况下原地对数组进行操作。 思路： 双指针 123456789101112131415class Solution { public void moveZeroes(int[] nums) { int slow=0,fast=0; while(fast<nums.length){ if(nums[fast]!=0){ nums[slow++]=nums[fast++]; //不为0，两指针同时移动 }else{ fast++; //当前有空位，可存放元素 } } for(;slow<nums.length;slow++){ nums[slow ...

62.不同路径一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中标记为 “Finish” ）。 问总共有多少条不同的路径？ 思路： 二维dp 初始化第一行和第一列 到某个格子地方法是到它上方和左方的格子的和 12345678910111213class Solution { public int uniquePaths(int m, int n) { int[][] dp=new int[m][n]; for(int i=0;i<m;i++) dp[i][0]=1; for(int j=0;j<n;j++) dp[0][j]=1; for(int i=1;i<m;i++){ for(int j=1;j<n;j++){ dp[i][j]=dp[i-1][j]+dp[i][j-1]; ...

435.无重叠区间给定一个区间的集合 intervals ，其中 intervals[i] = [starti, endi] 。返回 需要移除区间的最小数量，使剩余区间互不重叠 。 注意 只在一点上接触的区间是 不重叠的。例如 [1, 2] 和 [2, 3] 是不重叠的。例如 [1, 4] 和 [2, 5] 是不重叠的 思路 改为计算最多可以选多少个互不重叠的区间，那么没选的区间就是要移除的区间。 对第二个元素进行升序排序 第一个范围肯定是能选的 贪心选择，右侧尽量小的范围 1234567891011121314class Solution { public int eraseOverlapIntervals(int[][] intervals) { Arrays.sort(intervals,(a,b)->a[1]-b[1]); int pre=Integer.MIN_VALUE; //确保选取第一个范围 int ans=0; for(int[] nums:intervals){ ...

136.只出现一次的数字给你一个 非空 整数数组 nums ，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题，且该算法只使用常量额外空间。 思路 交换律：a^b^c=a^c^b 任何数与0疑惑为任何数：0^n=n 相同的数异或为0：n^n=0 123456789class Solution{ public int singleNumber(int[] nums){ int ans=0; for(int num:nums){ ans^=num; } return ans; }}