作者文章归档：course
一、爬虫基础概念
例如，搜索引擎（如百度、谷歌）就使用爬虫程序来遍历网页，收集网页的文本内容、链接等信息，以便用户进行搜索时能够提供相关的网页结果。
工作原理
一、定义
“Estimate confidence”（估计置信度）主要是在统计学和机器学习等领域中使用的概念。它是指对某个估计结果（如参数估计、预测结果等）的可靠性或确定性程度的一种量化评估。
例如，在市场调研中，我们通过抽样调查来估计某产品的市场占有率。除了得到一个占有率的估计值（如30%）之外，还需要知道这个估计有多大的可信度，这就是估计置信度要解决的问题。
二、统计中的置信区间与置信水平
一、定义
Open - set recognition（开放集识别）是一种在计算机视觉、模式识别等领域中使用的概念。它主要处理的情况是在训练阶段和测试阶段的数据分布不同，测试阶段会出现训练阶段没有见过的类别（即未知类别）的数据。
传统的分类任务（如闭集分类）假设测试数据中的类别都是在训练数据中出现过的，而开放集识别则更贴近现实世界的复杂情况。例如，在一个人脸识别系统的训练过程中，我们只使用了公司内部员工的人脸图像进行训练。但在实际使用场景中，可能会有外来人员（未知类别）出现在摄像头前，开放集识别就是要在识别出已知员工的同时，能够判断出未知人员。
二、关键要素
一、定义
Problem formulation（问题表述）是指将一个实际的复杂问题进行清晰、准确、完整的定义和描述的过程。它是解决问题的关键第一步，目的是把模糊的、笼统的问题情境转化为具体的、可操作的问题陈述，以便于后续选择合适的方法来解决问题。
例如，一家企业发现销售额在下降，这是一个比较笼统的问题描述。通过问题表述，可以将其转化为更具体的内容：“在过去6个月内，企业在A、B、C三个主要销售区域的销售额分别下降了10%、15%和20%，需要分析销售额下降的原因，是市场竞争加剧、产品质量下降、营销策略失误还是其他因素，并提出相应的解决方案。”
二、重要性
一、定义
Network intrusion detection（网络入侵检测）是一种用于监控计算机网络活动，识别任何试图破坏网络安全、未经授权访问网络资源或者恶意利用网络漏洞的安全技术。它的主要目的是在入侵行为对网络系统造成严重损害之前检测并发出警报，同时也可以协助收集有关入侵活动的证据。
例如，当外部攻击者试图通过端口扫描来寻找网络系统中的开放端口，以便后续发动攻击时，网络入侵检测系统可以检测到这种异常的扫描行为，并提醒网络管理员采取相应的防范措施。
二、工作原理
一、定义
Anomaly detection（异常检测）是指在数据集中识别与正常行为模式或预期模式显著不同的数据点或模式的过程。这些异常点可能代表了系统中的错误、故障、欺诈行为、安全漏洞或者其他罕见但具有重要意义的事件。
例如，在网络流量监测中，正常情况下流量的大小、频率和流向等都有一定的规律。如果突然出现大量的数据传输到一个异常的外部服务器，这就可能是数据泄露的异常行为；在工业生产中，机器正常运转时的温度、振动频率等参数在一个合理的范围内波动，当这些参数出现明显偏离正常范围的情况时，可能意味着机器出现故障。
二、应用场景
随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，主要用于在机器学习和深度学习中，通过迭代的方式来最小化目标函数，以找到最优的模型参数。以下是关于随机梯度下降的详细介绍：
商业价值是指一个事物在商业领域中所具有的经济价值和潜在利益，是衡量其在市场中能够创造财富和获取利润能力的重要指标。以下是对商业价值的详细介绍：
巅峰对决：英伟达 V100、A100/800、H100/800 GPU 对比
以下是一些常见GPU产品系列及大致价格：
| 型号 | 价格区间（元） |
|---|---|
| RTX 3060 | 2499左右 |
| RTX 4070 | 4799-5499 |
| RTX A4000 | 5950-9999 |
| RTX A5000 | 12499左右 |
| RTX A6000 | 38499左右 |
| Quadro P2000 | 3032左右 |
| Quadro P4000 | 5689左右 | ...
