If You Torture the Data Long Enough, It Will Confess to Anything
“数据若被过度施压，便能屈打成招”——这句警句在数据科学界具有深远的意义，它警示我们，在数据分析过程中，伦理审查的重要性不容忽视。这一观点由众多思想领袖在不同时期提出，它揭示了数据操纵的风险——在对数据进行持续且偏颇的审视时，可能会得出虚假和误导性的结论。在统计分析中，这句话提醒我们，在深入挖掘和对数据进行过度施压之间，存在着一条微妙的界限。它强调了遵守伦理标准对于保持分析结果的完整性和真实性至关重要。数据分析中的伦理考量，并非仅仅是学术或理论上的议题，而是确保数据驱动决策的可靠性和可信度的关键，这些决策正日益影响着我们的社会及其未来。
统计格言的演变
“数据若被过度施压，便能屈打成招”——这句幽默的警句揭示了滥用统计方法，迫使数据产生期望结果的潜在危险。这句话被认为出自包括诺贝尔经济学奖得主罗纳德·科斯在内的学者之口。然而，最早的记载出现在1971年，英国数学家I.J. Good在一次演讲中提到，“正如罗纳德·科斯所说，'数据若被过度施压，便能屈打成招。’”
这一比喻性的表达衍生出了各种版本，例如“若长时间对数据施压，它终将屈服”，这暗示了数据操纵以支持预设假设的可能性。这句话的起源可追溯至统计界对数据伦理使用的讨论和警示。
Charles D. Hendrix在1972年的演讲《If You Torture the Data Long Enough It Will Confess》以及Robert W. Flower在1976年的评论中，都突显了科学界对这一问题日益增长的关注。科斯在1980年代广泛使用这一表达，进一步强调了在数据分析中保持诚信的重要性。
在数据分析的征途中，当结果与我们的初始假设或预期背道而驰时，操纵数据的诱惑便悄然而至。常见的数据操纵手段包括：
选择性数据使用Selective Data Use，俗称樱桃采摘，指的是挑选性地展示数据，只呈现那些支持特定假设或偏见的数据，而有意忽略与之相悖的数据。这种做法会严重扭曲我们对情况的理解，因为它没有提供数据集的全面和平衡的视角。例如，如果一项研究旨在评估某种药物的效果，却只报告成功的试验结果，而对失败或产生不良反应的案例视而不见，那么这样的研究结果无疑是具有误导性的。
P值操控P-Hacking，或称为数据钓鱼，是指对数据集进行多次统计测试，并有选择地报告那些看似具有统计显著性的结果。这种做法增加了出现第一类错误或假阳性的风险，因为测试越多，偶然发现至少一个显著结果的可能性就越大。如果不进行多重比较的校正，如采用Bonferroni校正或错误发现率（FDR）校正，P值操控可能会导致错误的因果关系声明。
过度拟合模型Overfitting Models发生在统计模型捕捉到数据中的随机误差或噪声，而非其背后的实际关系时。这通常发生在模型过于复杂，参数过多而数据量不足的情况下。尽管这些模型在训练数据集上表现优异，但当应用于新数据时，其预测往往不尽如人意，因为它们捕捉到的是噪声而非信号。
数据淘金Data Dredging是指在没有明确假设的情况下，广泛搜寻大量数据以寻找模式或相关性。虽然这种方法有时能带来令人振奋的发现，但更多时候找到的只是偶然或随机的模式，这些模式并无实际意义。当这些关系被剥离出其背景或未经严格验证就被展示出来时，可能会误导人们认为它们具有因果联系，而实际上它们只是相关关系。
这些做法不仅损害了分析的完整性，还破坏了统计科学的基本原则。为了防止这种诱惑，坚守伦理准则和实施严格的同行评审至关重要，以确保数据分析作为揭示真相的工具，而不是为了迎合方便或偏见而扭曲真相。
为了更深入地了解这些问题及其解决策略，可以考虑探索关于数据伦理和统计最佳实践的更多资源。
在我们的日常生活中，数据被误解或操纵的情况屡见不鲜，这往往导致严重的公共和私人后果。
1. 疫苗有效性报告：一个广为人知的案例是关于新冠疫苗有效性的报道。初步研究显示疫苗有效性高达95%，但公众往往忽略了这一数字是在特定研究条件下得出的，并不一定能直接推广到现实世界中。如果关键的健康数据被误传，可能会引起公众对疫苗的犹豫，以及对疫苗保护能力的过度自信。
2. Facebook与剑桥分析公司：在一宗备受瞩目的案例中，剑桥分析公司未经用户明确许可，非法获取并滥用了近8700万Facebook用户的个人数据。这起事件导致Facebook遭到联邦贸易委员会50亿美元的重罚，剑桥分析公司也因此宣告破产。
3. 媒体中的误导性图表：
今日美国：曾因使用复杂的图表而受到批评，其中一个图表通过从9400万开始的y轴，夸大了福利问题，从而扭曲了问题的实际情况。
福克斯新闻：曾使用具有误导性比例的图表来描述政治和经济数据，例如布什减税政策到期的影响和奥巴马政府期间的失业趋势，这导致了公众对实际数据的误解。
4. 全球变暖数据：一个只展示上半年气温的图表可能会误导人们认为全球变暖正在急剧上升，而忽略了全年气温的周期性变化，从而造成了对数据的不完整解读。
在统计分析的领域中，保持数据的完整性对于获得可靠和真实的结果至关重要。本节将概述维护数据分析伦理标准的关键方法。
方法透明性：透明性是数据分析的基石。它要求记录数据收集的过程、分析方法和决策理由。通过透明化，研究人员能够允许他人复制和验证他们的工作，这对于确保结果的可信度至关重要。
可重复性和再现性：一项严谨的分析研究应始终追求可重复性和再现性。可重复性意味着其他研究人员能够使用原始数据集和分析方法得到相同的结果。再现性则更进一步，意味着独立研究人员即使使用不同的数据集和可能不同的方法，也能得出相同的结论。
避免数据操纵：为了避免陷入数据操纵的陷阱，如p值操控或数据淘金，分析人员必须在数据分析开始之前就承诺并遵循一个明确的假设。预注册研究并在检查数据之前声明预期的数据分析方法，可以帮助减轻这些问题。
同行评审和验证：同行评审作为一种质量控制机制，提供客观的数据分析评估。结合科学界的反馈可以揭示研究中的潜在偏见或错误，从而增强研究结果的完整性。
伦理培训和教育：对数据分析师进行持续的伦理培训至关重要。理解数据滥用的道德影响可以预防不道德的行为。教育机构和专业组织应在其课程和行为准则中强调伦理标准。
使用适当的统计技术：选择适当的统计工具和测试至关重要。分析人员应使用适合其数据性质和分布的统计技术，以确保得出的结论是有效的，并能真实反映数据中的信号。
定期审计：定期对分析过程进行审计有助于识别和纠正偏离伦理标准的行为。审计可以是内部的，也可以由外部独立方进行，以促进一个负责任的环境。
平衡技术和人工监督：尽管先进的分析工具和人工智能可以高效地处理大量数据，但人工监督对于将发现结果置于适当背景中并避免误解是必不可少的。分析人员在使用技术时应平衡其判断力和专业知识。
通过不道德手段滥用数据，其影响是深远且广泛的，其波及范围不仅限于学术和科学界，更深刻地触及社会的各个层面。
公众信任的流失Erosion of Public Trust：数据一旦被操纵，首先受损的是公众的信任。信任一旦破裂，可能需要很长时间才能恢复，甚至可能永远无法修复。错误信息的传播会导致人们对数据的可靠性产生普遍怀疑，这在当今这个决策依赖于信息的时代，是非常有害的。
政策误导Policy Misdirection：数据的误解或有意操纵可以直接影响到政策的制定。基于不准确数据制定的政策可能无法解决实际问题，导致无效甚至有害的社会干预。
经济影响Economic Ramifications：企业和经济体依赖于准确的数据来进行市场分析、风险评估和投资决策。数据滥用可能导致错误的商业战略、财务损失，甚至更广泛的经济不稳定。
社会和伦理后果Social and Ethical Consequences：当数据被用于误导或伤害他人时，会引发严重的伦理问题。未经同意使用个人数据，侵犯隐私可能会带来重大的社会后果，包括身份盗用和个人自由的丧失。
科学挫折Scientific Setbacks：在科学研究领域，数据滥用的后果可能会阻碍科学的进步。基于操纵数据的研究会导致资源的浪费、研究方向的错误，甚至可能提供有害的科学和医学建议。
教育影响Educational Impact：教育领域的影响同样不容忽视。未来的数据科学家和分析师将从现有的研究和实践中学习。不道德的数据行为会树立一个不良的榜样，可能导致这种行为被正常化。
司法误判Judicial Misjudgment：在法律领域，基于操纵数据的决策可能导致司法不公。证据必须始终如一地呈现，以确保法律结果的公平和公正。
减轻后果Mitigating the Consequences：为了减轻这些后果，我们必须努力推动道德数据分析。这包括全面教育数据伦理的重要性，制定防止数据滥用的健全方法，以及由监管机构实施严格的指南和监督。
道德数据分析是科学诚信和社会信任的基石。它确保从数据中得出的结论能够为社区和个人带来真实的见解和有益的结果。随着数字时代的发展，数据的完整性不仅是科学上的必要性，更是社会的迫切需求，因为它影响着决定我们生活方方面面的决策。因此，坚持数据分析中的道德标准，不仅仅是维护学术严谨性，更是培养一个致力于追求真理的公正和知情社会的必要条件。
Source: https:///if-you-torture-the-data-long-enough-it-will-confess-to-anything/
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
7年，计量经济圈近2000篇不重类计量文章，
可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle
数据系列：空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 | 夜间灯光 | 官员方言 | 微观数据 | 内部数据
计量系列：匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 机制调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID
数据处理：Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |
干货系列：能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验
计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀会通过感染优秀而互相成就彼此。
特别提示：本信息由相关用户自行提供，真实性未证实，仅供参考。请谨慎采用，风险自负。
0 条相关评论
相关最新动态
推荐最新动态
点击排行