Quantitative Methods

• Supervised 监督学习：有标签 (X, Y)，训练映射规则。
• Unsupervised 非监督学习：只有 X，发现内在结构。
• Deep / Reinforcement Learning：神经网络处理高复杂任务；强化学习通过与环境交互学习。

• Regression：Y 连续（股价、回报）。
• Classification：Y 类别/序数（欺诈/正常、信用评级）。逻辑回归即典型 classifier。

• Dimension Reduction 降维：减少特征数量，保留主要信息（如 PCA）。
• Clustering 聚类：依据相似度分组（K-Means、Hierarchical）。

• Underfit：模型过简，未抓住关系（高 bias）。
• Overfit：模型过繁，把噪声当模式（高 variance）。
• Robust Fit：训练好 + 样本外也好。

• Bias error：模型与训练数据的拟合差距（underfit 来源）。
• Variance error：模型对新数据的不稳定性（overfit 来源）。
• Base error：数据本身的随机性。

复杂度↑ → 训练误差↓、bias↓，但 variance↑ → 样本外误差先降后升。 最优点在 bias 与 variance 曲线交点。

• Training：训练模型（in-sample）。
• Validation：调超参、比方案（in-sample）。
• Test：最终评估泛化能力（out-of-sample）。

1. 复杂度惩罚 / 正则化：Occam's razor — 越简单越好。
2. 合理抽样 + 交叉验证：避免抽样偏差。

K-Fold Cross-Validation：数据随机分 k 等份（k 通常 5 或 10）， 其中 k−1 份训练、1 份验证，重复 k 次，平均 k 个验证误差作为 E_out 估计。每个样本点用作训练 k−1 次、验证 1 次。局限：不适用于时间序列（只有最近数据可作验证）。

• 使用前需标准化特征（mean 0, var 1）以便系数可比。
• λ (lambda) 是 hyperparameter，由研究者在 validation set 上调出。
• λ = 0 时退化为 OLS；λ 越大 → 模型越稀疏。
• 惩罚项仅在训练时加入；评估只用残差平方和。
• 适合高维、特征相关、观测较少的场景（如行业违约预测，把数十个共线特征压缩到 <10 个）。
• 更广义的 Regularization 也可用于非线性模型，例如稳健估计协方差矩阵以解决均值–方差优化中权重不稳定问题。

• Hyperplane：n 维空间中的分割边界（n=1 是线，n=2 是面）。
• Margin：分割带的宽度；SVM 选择 最大间隔。
• Support Vectors：离边界最近、决定边界位置的少数观测点。
• 远离支持向量加新点 → 边界不变；靠近超平面加新点 → 可能改变支持向量集合从而移动边界。

• Soft Margin Classification：对训练集中被误分类的点加惩罚， 在"更宽 margin"与"更低总误差"间权衡。
• Non-linear SVM：引入非线性边界（如 kernel），减少训练集误差但 更复杂，容易过拟合。

• 非参数 (non-parametric)：不假设数据分布；可直接做多分类。
• 核心挑战 = 距离度量：选错指标 → 模型差。 对类别/序数变量更主观（如股票相关性可作相似度）。
• 对无关或相关特征敏感；通常需手动选择少量特征。
• k 是 hyperparameter：太小 → 错误率高、易受局部噪声影响； 太大 → 平均过多结果稀释最近邻含义。偶数 k 可能出现平票。

• 每个节点选择能最大程度分离标签（最小化分类误差，如 MSE）的特征与切分值。
• 同一特征可在不同位置以不同阈值多次出现。
• 终端节点取多数类（分类）或均值（回归）。

• 事前正则化：最大树深、节点最小样本数、最大决策节点数。
• 事后 Pruning：训练完后剪除分类能力弱的分支。

• 异构 (Heterogeneous)：不同算法 + voting classifier。
• 同构 (Homogeneous)：同算法 + 不同训练数据（如 bagging）。

训练多个模型（SVM、KNN、CART…），新样本预测取多数票。 模型越多越准，但过多会过拟合。 需要算法/方法/假设的多样性（依大数定律）。

从原始训练集做有放回随机抽样生成 n 个新训练集（bags）， 训练 n 个模型，分类用多数票、回归用均值。 提升预测稳定性，抑制过拟合。

• 大量 CART 通过 bagging 训练而成的集合。
• 每个节点随机选取 m 个特征（m < n 总特征数）以增加多样性。
• 超参数：m、树数、最小叶节点样本数、最大树深。
• 降方差、抗过拟合，错误在多树间相互抵消 → 信噪比提升。
• 缺点：可解释性差（相对"黑箱"）。

• 4 种算法对比：CART、SVM、KNN、Random Forest。
• 70/30 训练/测试拆分，超参不调用默认（CART 树深 5；SVM cost=1；KNN k=4；RF 100 棵、深 20）。
• 同样的训练/测试切分应用于所有算法以保证公平。

• Accuracy = 正确分类 / 总数。
• F1 Score = Precision 与 Recall 的调和平均；类别不平衡（大多数是 0）时比 Accuracy 更可靠。
• 三分类均匀分布的"无用模型"基线 ≈ 1/3。

• ESG 数据类似 alternative data：非结构化、缺失多、跨厂商不一致。
• 需先做 data cleansing / wrangling，再用 NLP（基于 Logistic、SVM、CART、RF、NN）处理文本/音视频。
• NLP 可在财报电话会议中统计"human capital""health and safety"等 S 词频。
• E 因子对采矿/公用事业重要；S 因子对服装制造业重要 → ML 帮助匹配行业相关因子。

• 把高度相关的特征转换为少量互不相关的composite variables。
• 基于协方差矩阵的eigenvectors（方向）与eigenvalues（解释方差占比）。
• PC1 = 最大特征值对应方向（最小化投影误差、最大化方差散布）； PC2 与 PC1 正交，解释剩余最大方差；依次类推。
• 使用前需要标准化（mean 0, std 1）。

• 用 Scree Plot（每个 PC 解释的方差比例）观察拐点。
• 实务中保留累计解释 85%–95% 方差所需的最少 PC 数。
• 例：DLC 500 / VLC 30 指数，前 3 个 PC 解释 ≈90% / 86% 方差。

• 距离越小 → 越相似。常用 Euclidean distance（直线距离）。
• 组合多元化中：相关性 ≈ 标准化点之间的平均欧氏距离。
• ML 中约 12 种距离度量，选择取决于数据类型与业务问题。

1. 随机初始化 k 个 centroids。
2. 每个观测分配到最近 centroid → 形成簇。
3. 重新计算 centroid = 簇内观测的均值。
4. 重新分配观测；重复 2–3，直到无观测变更（收敛）。

结果：在 k 固定下，最小化簇内距离、最大化簇间距离。

• 速度快，可处理上亿观测。
• 对初始 centroid 敏感 → 多次随机初始化对比。
• 必须事先确定 k；可在多个 k 值间选择最优；也可凭 face validity（业务可解释性）确定。
• 应用：Russell 3000 按财务/运营特征聚类，揭示真实"peer group"；对冲基金分类替代传统体系。

• Agglomerative · 自底向上：每个观测一个簇 → 不断合并最近的两簇 → 最终一个大簇。 速度快，适合大数据；基于局部模式，更擅长识别小簇。
• Divisive · 自顶向下：从一个大簇开始 → 反复分裂 → 每观测一簇。 基于全局结构，更擅长识别大簇。

两簇所有点对直线距离的：最小值 / 最大值 / 平均值。

• x 轴为簇，y 轴为距离度量；横向弧线 (arch) 连接两条竖线 (dendrites)。
• 弧线高度 = 两簇距离；越矮越相似。
• 水平虚线切割 → 给出该层切分的簇数。

• 2017-05-30 ~ 2019-05-24 的日调整收盘价，501 个观测。
• 计算日 log 收益（每只股票 = n=500 维向量）。
• 构造距离矩阵（成对 Euclidean 距离，对角为 0）。
• 反复合并最近的两簇 → 用 average (centroid) linkage 重算距离 → 直到合为一个大簇。
• 画 dendrogram，水平虚线切割得到目标簇数 (k=3)。

• 0.215：JPM + GS → GS_JPM（距离矩阵中最小）
• 0.262：+ UBS → GS_JPM_UBS（银行簇）。算法：(0.243 + 0.281)/2
• 0.307：AAPL + GOOG → AAPL_GOOG（科技簇）
• 0.334：GM + F → F_GM（汽车簇）
• 0.356：银行 + 科技合并为五股大簇 = 6 个跨簇距离的平均
• 切分结果 (k=3)：五股簇 / F_GM / FB 单独成簇

• 三种算法都把银行股聚为一簇。
• K-Means 严格按行业分（含 FB 与 AAPL/GOOG 同簇）。
• 两种层次聚类都把 FB 识别为 outlier，自成一簇。
• 同一 linkage 下两种层次聚类结果未必一致；K-Means 通常与层次聚类不同。

• 输入差异：面板数据与距离矩阵去掉 F、GM 及与其相关的所有成对距离。
• 三簇结果：GS_JPM_UBS / AAPL_GOOG / FB 单独成簇。
• 原因：没有汽车股拉低门槛，AAPL_GOOG 不再需要与银行簇合并；FB 仍因与其他簇相关性低而独立。
• 新建议：买 FB、买 AAPL/GOOG 中较便宜的一只、买银行三只中最具吸引力的一只。

• 高度灵活的 ML 算法，可处理特征间存在非线性和复杂交互的任务。
• 可用于监督学习中的分类与回归，也用于强化学习（无需人工标注数据）。
• 三层结构：
  • 输入层：每个节点对应一个特征。
  • 隐藏层：学习发生的地方，训练时调整权重，使用时处理输入。
  • 输出层：将结果传递到网络外部。
• 与多元回归的关键区别：隐藏层节点以非线性方式转换输入，再组合成目标值。

• ReLU：f(x) = max(0, x)；负输入输出 0，正输入保留原值。最常用。
• Sigmoid：S 型函数，输出范围 (0, 1)。
• 作用：像"调光开关"，增大或减小信号强度；非线性意味着输出在不同输入水平上的变化率不同。

• 前向传播：信号从输入层 → 隐藏层 → 输出层的传递过程。
• 每个节点有两个功能部分：求和算子（加权求和）和激活函数（非线性转换）。
• 训练：从随机权重开始，迭代比较预测值与实际值（如 MSE），调整权重以减小总误差。
• 反向传播：若调整过程从后往前逐层进行，则称为反向传播。

• 输入层接收特征集 → 传递至第一层非线性数学函数（神经元），权重 w_ij，通常输出缩放到 (0, 1) 或 (–1, 1)。
• 逐层传递直到输出层产生观测属于各目标类别的概率集合。
• DNN 将观测分配给概率最高的类别。
• 训练大数据集时，权重 w_i 被确定以最小化指定损失函数。

• 输入层和输出层的节点数通常由特征和预测输出的特性决定。
• 仍需决定的超参数：隐藏层数量、每层节点数、连接方式、激活架构。
• 目标：选择超参数以实现最佳样本外表现，但这仍是挑战，没有简单解。
• 建议：从文献和经验出发给出"合理"猜测，观察结果，逐步调整直至达到模型性能目标。
• DNN 训练耗时较长，系统性地改变超参数可能不可行。
• 相对小数据集可从 2–3 个隐藏层、几百个节点开始，再调参。

• 背景：澳大利亚 PEPF 养老金，A$20B AUM，A$15B 外包给近 100 位外部管理人，近年表现落后。
• 问题：风格漂移 (style drift) 可能是表现不佳的重要因素。
• 方案：用 DNN 收集并分析外部管理人的实时交易数据，与已知投资风格（高股息、低波动、动量、成长、价值）比较，检测潜在风格漂移。
• 结论：DNN 非常适合该任务，因为要处理大量复杂数据、识别模式。

• 方法：横截面回归 (CSR)，因子暴露 B 预测股票收益 r_t。
• 目标：找到网络权重，最小化样本外 MSE（预测收益 ŕ 与实际收益 r 之差）。
• LASSO 惩罚加入损失函数，自动收缩非零权重数量，改善样本外表现。
• 减少权重一般意味着减少连接数而非节点数；若上一层所有权重为 0，则当前层节点数减少。

• 样本：S&P 500 中市值最大的 250 只股票（2010 年 6 月），去除缺失后剩 218 只。
• 时间：2010-06 ~ 2018-11，共 101 个月。
• 特征 (K=6)：当前企业价值、EV/EBITDA、市销率、市盈率、市净率、市值对数。
• 输出：下月每只股票的月收益。

• 每期拟合一个新模型；每只股票每期有 N=218 对观测（特征向量 + 月收益）。
• 在 t 期训练，t+1 期测试；然后将 t+1 数据变为新训练集，t+2 测试，依次滚动。
• 网络架构：6 个输入节点、2 个隐藏层（每层 50 个神经元）、1 个输出神经元。
• 故意过度设定参数数量（高 variance，低 bias），再用 LASSO 收缩。
• 每层节点数不超过训练集观测数（50 vs 218）。

• 样本外误差通常显著大于样本内误差，但随着时间推移，两者差距大幅缩小。
• LASSO 正则化：增大正则化 → 引入更多 bias，样本内误差上升；但降低 variance，样本外误差下降。
• 所需 LASSO 正则化强度显著，为 0.10（通常范围 0.001–1.0）。
• 样本外与样本内 MSE 尚未收敛，差距约 0.0051，说明最优正则化参数可能远大于 0.10。

• 策略：按神经网络预测收益排名，选 top n 只股票（n=10,15,20,25）。
• 样本内 IR：0.623–0.697（经验法则：0.40–0.60 已算不错）。
• 样本外 IR：0.260–0.315，显著低于样本内。
• 样本外表现是评估未来投资表现最现实的基准；通过增加因子可进一步改善。

• 增加 4 个基本面因子 + 11 个行业虚拟变量 → 共 21 个特征，输入层 21 个神经元。
• 股票数量从 218 扩展到 420。
• 需重新寻找最优 LASSO 超参数；或先增加隐藏层神经元数，再交叉验证。
• 评估改进：用最优模型做样本外月收益预测 → 排名选股 → 计算实现月组合收益 → 滚动重复 → 最终计算信息比率。

• 第一步：数据是否复杂，有很多高度相关的特征？
  • 是 → PCA 降维
• 第二步：问题是分类还是数值预测？
  • 数值预测 → 数据是否具有非线性特征？
    • 线性 → Penalized Regression / LASSO
    • 非线性 → CART、Random Forest、Neural Networks
• 分类问题 → 数据是否有标签？
  • 有标签 → 数据是否具有非线性特征？
    • 线性 → KNN、SVM
    • 非线性 → CART、Random Forest、Neural Networks / DNN
  • 无标签 → 数据是否具有非线性特征？
    • 线性 → K-Means（已知类别数 k）或 Hierarchical Clustering（未知 k）
    • 非线性 → Neural Networks / DNN

• 机器学习旨在从大量数据中提取知识，通过学习已知示例确定数据的潜在结构。核心思路是"找到模式，应用模式"。
• 监督学习依赖标注训练数据，分为回归（目标变量连续）和分类（目标变量类别/有序）。
• 无监督学习无需标注数据，须推断特征间关系或总结分布中未明确提供的潜在结构。两大问题：降维与聚类。
• 深度学习基于神经网络，处理复杂任务（图像分类、NLP）。强化学习中计算机通过与自身交互或算法生成的数据来学习。
• 泛化 (Generalization)：ML 模型在样本外预测时保持解释力的程度。过拟合是缺乏泛化的主要原因。
• 误差分解：样本外误差 = Bias 误差 + Variance 误差 + Base 误差（数据随机性）。
• k-fold 交叉验证：缓解留出样本问题；数据随机分 k 份，k–1 份训练，1 份验证。
• 正则化：通过降低模型复杂度来减少高维数据估计/预测中的统计变异。
• LASSO：惩罚项为回归系数绝对值之和；特征越多惩罚越大，须对模型拟合有足够贡献才能抵消惩罚。
• SVM：寻找最优超平面，以最大间隔分离两类数据点。
• KNN：通过找到新观测与数据集中 k 个最近邻居的相似性来分类。
• CART：二叉树组合根节点、决策节点和终端节点；迭代将数据分区直至形成包含预测标签的终端节点。
• 集成学习 / Random Forest：结合多个模型的预测；随机森林通过 Bagging 或随机减少特征数量生成许多不同决策树。
• PCA：将高度相关特征转化为更少的不相关复合变量；产生特征向量（主成分方向）和特征值（解释方差比例）。
• K-Means：将观测划分为固定数量 k 个不重叠簇；每簇由质心表征，观测归属最近质心。
• Hierarchical Clustering：构建簇的层次结构。
  • 凝聚式 (Agglomerative)：自底向上，每次合并距离最近的两簇。
  • 分裂式 (Divisive)：自顶向下，逐步将簇划分为更小子簇。
• 神经网络：输入层、隐藏层、输出层；隐藏层节点含求和算子和激活函数；能处理变量间的非线性和复杂交互。
• 深度神经网络 (DNN)：具有多个隐藏层（≥2，常 >20），是人工智能革命的支柱。
• 强化学习 (RL)：智能体执行动作以在环境约束下最大化长期奖励。

• Volume 体量：从 TB 到 PB、EB。1 EB = 1,024 PB = ~百万 TB。
• Variety 多样性：结构化 / 半结构化 / 非结构化；交易、文本、图像、视频、社交、传感器、点击流、时空数据。
• Velocity 速度：实时生成。例：Twitter 每 3 天 10 亿条；每日 50 亿次搜索。涉及"data-in-motion" vs "data-at-rest"。
• Veracity 真实性：可信度与可靠性。社交媒体 10–15% 假内容、网页垃圾内容 >20%；NLP 在深层语义仍有挑战。

• Extraction 抽取：从现有变量派生新变量（DOB → Age）。
• Aggregation 聚合：多变量合并（Salary + Other Income = Total Income）。
• Filtration 过滤：剔除不需要的行（如非美国客户）。
• Selection 选列：移除不需要的列（与 feature selection 区别）。
• Conversion 类型转换：nominal / ordinal / continuous / categorical；剥离符号与单位、时区、币种、时间价值调整。

• Standard Deviation 法：正态分布下，|x − μ| > 3σ。
• IQR 法：通用分布。IQR = Q3 − Q1。 界限 = Q3 + 1.5·IQR 与 Q1 − 1.5·IQR；用 3.0 倍则为极端值。
• Trimming 截尾：直接删除（如 5% trimmed = 删最高与最低各 5%）。
• Winsorization：用最大 / 最小非异常值替换。

先处理异常值，再缩放。

X' = (Xᵢ − X_min) / (X_max − X_min)

X' = (Xᵢ − μ) / σ

• Remove HTML tags：用 regex <.*?> 移除。
• Remove Punctuations：但 %、$、? 等保留语义价值的需替换成 /percentSign/、/dollarSign/、/questionMark/。Period 视上下文：缩写句号删，句末替换为 /endSentence/，e-mail 等中的连字符 / 下划线保留。
• Remove Numbers：通常替换为 /number/（防止每个数字被当独立词）。但 Information Extraction (IE) 任务（如提取财报金额）须保留数值。
• Remove white spaces：去多余空格 / 制表符 / 首尾空格。R 中 stripwhitespace。

操作顺序重要：先去标点会让 "1.2 million" 变 "12 million"，因此须先 / 后续用 /number/ 标签替换。

• Token = 词；Tokenization = 把文本拆为 token（通常按词）。
• Lowercasing：统一大小写（"The" = "the"）。
• Stop words 删除：the / is / a 等无语义词；某些场景（如财报）可自定加入 "exhibit"。但高级语境分析有时需保留。
• Stemming（词干化）：规则法，Porter 算法最常用。"analyzed/analyzing" → "analyz"。结果未必符合语言学。
• Lemmatization（词形还原）：算法 + 词典，"analyzed/analyzing" → "analyze"；计算更贵但更精确。
• 两者都降低 data sparseness（数据稀疏），把低频变体聚合，使 ML 模型更简洁。英文里 Stemming 更常用。

• BOW：所有文本中 distinct token 的集合；高效但 不保留词序与位置。
• DTM：行 = 文档，列 = token，单元格 = 该词在该文档出现次数。 至此非结构化文本变成结构化矩阵，可供 ML 训练。

把连续 n 个词作为一个 token：unigram (n=1)、bigram (n=2)、trigram (n=3)。 例：BOW 中 "no" 作为 stop word 被删掉，丢掉了 "no market" 的负面意义； bigram no_market 则保留语义。可与 unigram 合并构建 BOW & DTM。 注意 to_the 这种 stop-word 组合不会被预定义列表过滤。

• 理解数据属性、找出模式与关系
• 检查基本假设、记录分布
• 规划后续建模策略；作为利益相关者间沟通媒介

目标：保留对模型预测有贡献的特征 → 简化模型、加快训练、降低样本外误差。

• 统计打分：χ²、相关系数、信息增益 (R²)
• 前向 / 后向逐步选择
• 诊断：冗余、heteroscedasticity、multicollinearity
• 不同于 Dimensionality Reduction（如 PCA）： DR 创建新的不相关组合特征；Feature Selection 仅保留 / 删除现有特征。

• 连续：log(乘积)、收入分段 income_above_100k (0/1)
• 类别：one-hot encoding（如学历 5 档展开为 5 个 0/1 列）
• 时间：second_of_hour、hour_of_day、day_of_date（量化交易尤其重要）
• 组合 / 分解现有特征以暴露隐含结构

• Term Frequency (TF) = token 在数据集所有文本中出现次数 ÷ 总 token 数。Topic modeling 中删除高 TF 词（可能是 stop words）。
• Chi-square 关联度：用于情感 / 分类，看词与类别的显著关联。
• 可视化：bar chart 词频；Word Cloud 词云（字号 = 频率，颜色编码额外维度）。

本质 = 缩小词表 / BOW；去除 noisy features：

• 过高频 → underfitting（无法定决策边界）；过低频 / 稀疏 → overfitting。
• Frequency measures：TF 与 DF（含该词文档数 ÷ 总文档数）做词表剪枝。
• Chi-square test：检验 token 与 class 独立性，排序选用。
• Mutual Information (MI)：0 = 在各类分布相同；越接近 1 越只在某一类出现。

• Numbers：按位数拆 /number4/（年份）、/number10/（ID 号）等。
• N-grams：保留多词搭配（stock_market）。
• Name Entity Recognition (NER)：标 ORGANIZATION / LOCATION / DATE / MONEY / TIME / PERCENT 等；NER tag 可作特征，并避免对其做 lowercase / stem。
• Parts of Speech (POS)：noun / verb / adj / proper noun 等标签；区分 "market" 作动词 (营销) vs 名词 (市场)。

• Underfit：训练集就错很多；模型太简单 / 数据太少 / 特征太少。
• Overfit：训练集近乎完美但泛化差；特征过多。
• Good fit：训练集有少量错但能泛化。

Feature engineering 通常防 underfit；feature selection 通常防 overfit。

• 有 / 无监督：监督 → regression、ensemble trees、SVM、NN；无监督 → 降维、聚类、异常检测。
• 数据类型：数值 → CART；文本 → GLM、SVM；图像 → NN / 深度学习；语音 → 深度学习。
• 数据规模：SVM 擅长 "wider"（10k–100k 特征、少样本）；NN 擅长 "longer"（样本远大于特征）。

混合数据：可把一模型的输出作为另一模型的输入特征（如文本情绪 → CART 选股特征）。

主数据集 → Training 60% / Cross-Validation 20% / Test 20%（k-fold 随机抽样）。无监督无须划分。

• 少数类样本太少时，模型偏向预测多数类，准确率虚高。
• Undersampling 多数类 / Oversampling 少数类（有 / 无放回皆可）。
• 高级：合成新样本（如 SMOTE）。

• TP / TN：预测正确（正 / 负）
• FP = Type I 错误（误报）；FN = Type II 错误（漏报）

Precision (P) = TP / (TP + FP) - FP 成本高时关注

Recall (R) = Sensitivity = TP / (TP + FN) - FN 成本高时关注

Accuracy = (TP + TN) / (TP + FP + TN + FN)

F1 = 2 · P · R / (P + R) - 调和平均

FPR = FP / (TN + FP); TPR = Recall = TP / (TP + FN)

RMSE = √(Σ(actualᵢ − predᵢ)² / n) - 回归 / 连续

类别不平衡时用 F1 而非 Accuracy；F1 偏向 P 和 R 中较小者。 示例：P=0.75, R=0.60 → F1=0.67, Accuracy=0.70。

• 横轴 FPR、纵轴 TPR，扫描不同阈值（如 logistic p-threshold）绘出。
• 曲线越凸越好；AUC ≈ 1 完美预测，AUC = 0.5 随机猜测。

• 训练集误差高 → Underfit / High Bias（模型过简）
• CV 集误差 ≫ 训练集 → Overfit / High Variance（模型过复杂）
• 目标：最小化 Bias + Variance 总和（无法同时为 0）。

• Parameters：训练中从数据学到。例：回归系数、NN 权重、SVM 支持向量。
• Hyperparameters：人工设定、不依赖数据。例：正则化 λ、NN 隐层数 / 激活函数、ensemble 树数与树深、KNN/K-means 的 k、logistic p-threshold。

• Grid Search：系统遍历超参组合 + CV，找最佳。
• Fitting curve：随超参 / 复杂度变化的训练 vs CV 误差曲线。
• 正则化 λ：
  • 太小 → 高方差 / 过拟合（训练误差小、CV 大）
  • 太大 → 高偏差 / 欠拟合（两者皆大）
  • 最优 → 两者皆小且接近

• High variance → 加样本 / 减特征。
• High bias → 加特征。
• 复杂模型（含子模型）→ Ceiling Analysis：评估各子模型对总体性能的潜在提升空间，决定先调哪个。

• 来源：Financial Phrase Bank（Researchgate），LexisNexis 英文新闻，覆盖 NASDAQ OMX Helsinki 上市公司。
• 共 14,780 句，已标注三类情绪。本项目取 AllAgree + 75Agree，仅正 / 负二分类，共 2,180 句（正 1,457，负 723）。
• 横截面数据（非时间序列）。"@" 分隔符把句子与情绪标签分开。

• Punctuations：先用 percentSign、dollarSign 替换 %、$；再删除其它标点（句号、分号、逗号），以及 +、© 等特殊符号。
• Numbers：先把数量级缩写 m / mln / mn / bn 换成完整词 "million / billion"，再删除所有数字。
• White spaces：去重复空格。

情绪分析不依赖具体数字（如 "boosted" 已暗示增长），故数字可删。

• Lowercase：统一大小写。
• Stop words 保留：not、more、very、few 在财报情境承载语义（之后在 EDA 阶段再用频率分析找 custom stop words）。
• Stemming：执行（如 profit → profit, decreased → decreas, before → befor）。
• 词元统一：EUR / USD / dollarsign → 统一为 currencysign。

• Sentence length histogram：min 26、max 273、平均 ~120 字符；无异常长短句。
• Word Cloud：整语料 + 按正 / 负切分；正面常见 increas / rose，负面 decreas / down。

TF (Collection) = TotalWordCount / 语料总词数

TF (Sentence) = WordCountInSentence / TotalWordsInSentence

DF = SentenceCountWithWord / 总句数

IDF = log(1 / DF)

TF–IDF = TF(Sentence) × IDF

高 TF-IDF = 在少数文档中频繁出现 = 重要且独特的词。 低 TF-IDF = 在大多数文档中出现 = 不具判别力。

• 删 TF > 99.5 百分位（14 个 custom stop words）
• 删 TF < 30 百分位（714 个稀疏词）
• 删单字符 token
• DTM 单元格填 TF (sentence-level)（因数据是句子粒度，用 TF–IDF 受语料规模影响较大）

同时使用 unigram + bigram，保留否定结构如 not_good、no_longer、tax_loss、sale_increas，对情绪预测至关重要。

CV / Test DTM 列保持与 training BOW 一致（9,188 features）；TF 值用各自语料计算。

• 比较 SVM / Decision Tree / Logistic：SVM 与 Logistic 优于 Tree。
• 最终选 Logistic Regression：能很好处理稀疏 DTM（多数 token 系数趋近 0），便于忽略无用特征。
• 正 = 1, 负 = 0；输出 p ∈ [0,1] = 正面概率。

• 无正则化：AUC training 96.5% vs CV 86.2% → 明显过拟合。
• 加 LASSO 后：AUC training 95.7% vs CV 94.8% → fit 良好。
• 不加正则、保留全部 token：training 99.1% / CV 89.4% → 过拟合更严重。
• LASSO 把不重要 token 的系数压为 0，相当于自动特征选择。

• 默认 p = 0.50 → Accuracy 90%。
• 遍历 0.01–0.99，绘制 F1 / Accuracy 曲线。
• 最佳 p ≈ 0.60：Accuracy = 0.9149, F1 = 0.9388, Precision 0.90, Recall 0.976。
• 本项目假设正 / 负样本成本相等，故同时优化 Accuracy + F1。

• Accuracy 90% · F1 93% · Precision 89% · Recall 98%
• 模型 robust、不过拟合，可推广到类似来源（新闻通讯、财报、电话会纪要）。

30 句样本中 3 例错分（p = 0.46 / 0.77 / 0.71），sample accuracy 27/30 = 90%。

1. 对新句执行与训练集 完全相同 的 tokenization、cleansing、preprocessing。
2. 用 training BOW 的列构建 DTM，填入 TF 值。
3. 套用 LASSO logistic 系数得 p。
4. p ≥ 0.60 → 正面，否则负面。