铭鸿体育资讯网

大数据系统维持长期存续性的内生矛盾与张力 复表、规范建模、写文档、评审,大量人力

大数据系统维持长期存续性的内生矛盾与张力
复表、规范建模、写文档、评审,大量人力投入,短期看不到业务产出,成本直接增加。
矛盾:
项目绩效考核大多偏向短期业务价值。团队天然倾向优先做临时方案,牺牲系统长期健康度。熵增就是无数次“省事的临时选择”累积出来的。治理要求牺牲短期便利,换取长期稳定;人的决策本能偏向短期收益。这个是人性层面的固有矛盾。
四、资源层面:无限的业务需求 VS 有限的存储、计算资源矛盾
业务侧会不断新增分析维度、新增历史快照、新增分层报表,希望全量保存所有历史明细,保留所有临时计算结果。
存储、算力预算是有上限的。
矛盾:
单纯扩容可以短期缓解,但业务需求的增长速度往往快于预算增长。
治理要做取舍:哪些数据保留、哪些归档、哪些下线。
但取舍本身会带来冲突:业务担心未来要回溯历史数据,不愿意同意删除/归档任何一张表。只要保留全部数据,膨胀就不会停止。