小红书将业界最大数据湖迁至阿里云
我要评论记者获悉，小红经过一年奋战，书将数据小红书已把业界体量最大的业界数据湖0故障迁上阿里云。据统计，最大至该项目共有1500人参与，湖迁迁移数据500PB。小红
作为中国头部互联网公司之一，书将数据小红书月活已过3亿，业界其数据湖存储了过去11年的最大至所有原始数据，包括结构化、湖迁半结构化和非结构化数据。小红近年来，书将数据随着业务的业界高速增长，小红书在线处理数据的最大至需求不断增加，同时离线处理所积累的湖迁历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
*注：任务=数据处理过程
（图片来自小红书官方公众号）
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。
相关文章
雄鹿VS雷霆巅峰对决 雄鹿拿下雷霆夺杯赛冠军美国职业篮球联赛 雄鹿VS雷霆-3.5）推荐：让分客胜雄鹿近来势头不错取得三连胜，目前以14胜11负的战绩排在东部第五位，球队在赛季初的表现很差，但过去一段2024-12-26
上赛季0球0助！小基恩低射+抢点+一条龙大演帽子戏法，14场轰11球
11月11日讯 意甲第12轮，佛罗伦萨3-1完胜维罗纳，球队以7胜4平1负积25分的成绩升至联赛第三位。24岁的莫伊塞-基恩上演帽子戏法，上赛季在尤文20场0球0助攻的他，本赛季各项赛事14场11球12024-12-26
[流言板]Lakers Legacy：Dlo末节得了8分，只有他第四节找到AD一次
[流言板]Lakers Legacy：Dlo末节得了8分，只有他第四节找到AD一次由篮球资讯发表在篮球资讯 50211月30日讯 今天NBA杯，雷霆101-93战胜湖人。赛后，湖人媒体Lakers L2024-12-26
[赛后]莱斯特城 3-2 地煞：十一连败苦尽甘来，妖刀军团终得首胜由游戏电竞资讯发表在王者荣耀 kog点击链接 为双方第五局表现打分>>Game5：【Ban/Pick】蓝色方：莱斯特城队无2024-12-26
12月24日讯 在今天结束的一场常规赛中，黄蜂以101-114不敌火箭。赛后，迈尔斯-布里奇斯接受了媒体的采访。谈到本场比赛的失利，小桥说道：“我们什么都没做——我们没有沟通，也没打出身体对抗。这不是2024-12-26
[流言板]未尝败绩！雄鹿杯赛取得3胜0负，哈姆生涯杯赛战绩为10胜0负
[流言板]未尝败绩！雄鹿杯赛取得3胜0负，哈姆生涯杯赛战绩为10胜0负由篮球资讯发表在篮球资讯 50211月30日讯 今天NBA杯，雷霆101-93战胜湖人。赛后美国媒体发布数据：雄鹿目前杯赛取得3胜2024-12-26
最新评论