遥测阈值产生帮助文档

步骤说明

1. 导出数据：
   首先从 ocs系统 导出各个遥测值的 CSV文件。
2. 统计分析：
   运行如下统计脚本，对每个CSV文件进行分析，获取最大值、最小值、中位数、平均值、方差等统计量。
   
   for i in COS.csv IA.csv IB.csv P.csv Q.csv UAB.csv UA.csv UBC.csv UB.csv UC.csv ;do python3 analy.py $i;echo;echo;done > analysis.txt
   该命令会批量分析所有遥测项，将结果输出到 analysis.txt。
3. 生成阈值文件：
   运行如下脚本，将统计分析结果转换为阈值文件。
   
   python3 get-json.py
   get-json.py 的输入为 analysis.txt，输出为 thresholds.json。
4. 附录说明：
   
   • 分析输出样例：

     正在读取文件：COS.csv...
     文件读取成功。
     ------------------------------
     对列 '数据值' 进行统计分析：
     总数据点数 (含NaN)：35136
     有效数值数据点数：35136
     最小值：-1.0
     最大值：1.0
     平均值：0.8812005340960838
     中位数：0.993417
     标准差：0.33134209357839073
     ------------------------------
     基于 10% 和 90% 分位数确定的合理阈值范围：
     下限 (10% 分位数): 0.676868
     上限 (90% 分位数): 1.0
     
     说明：
     - 这个范围 [0.676868, 1.0] 包含了绝大多数（80%）的数据点，排除了极端值。
     - 您可以根据实际业务需求调整分位数的比例（例如，使用 5% 和 95% 分位数）。
     - 如果数据分布特殊（例如有多个明显的数据段），可能需要更复杂的分析方法。
             

     说明：上面为每个遥测量的统计分析结果，包含了总点数、有效点数、极值、均值、中位数、标准差、以及分位数阈值范围。
     分位数可根据实际需求调整。

   • 阈值文件（thresholds.json）格式化输出：

     说明：以上为JSON格式的阈值文件，每个遥测项下含有统计值与对应阈值。
     结构清晰，便于程序读取和后续处理。
     

引用说明

分位数阈值法：通过筛选10%和90%分位数，排除极端异常值，获得合理的上下限。
可根据业务需求调整分位数比例。对于特殊分布（如多峰），可采用更复杂的数据分析方法。