获赞
1101
粉丝
81
关注
25
看过 TA
5684
中国地质大学(武汉)
2024
后端
IP属地:山东
举世皆浊,世人皆醉
私信
关注
原内容已删除
0 点赞 评论 收藏
分享
原内容已删除
0 点赞 评论 收藏
分享
牛客564868297号:GPT回答的:头部大厂处理十亿条数据下载并合并的流程和细节如下: (1)数据分片划分:将数据按照一定规则进行划分,每个分片的数据量不能过大,同时要考虑数据之间的依赖关系和分片之间的负载均衡问题。常用的划分方式包括按照数据ID或者时间戳进行范围划分等。 (2)并行下载和处理:可以使用多线程或分布式计算等技术手段来并行地下载和处理所有的数据分片,提高数据处理的效率。需要考虑到数据的同步、传输和安全性等问题,可以采用FTP、HTTP、RPC等协议和加密技术来保障数据传输的安全性。 (3)数据合并和去重:将所有分片的数据合并成一个完整的数据集,需要进行数据合并、去重、排序等操作。合并时需要注意数据的格式、字段对齐、数据类型的一致性等问题;去重时需要考虑到数据的唯一性约束和重复数据的处理方法;排序时需要根据具体需求进行排序字段和排序方式的选择等。 (4)数据存储和管理:最后将合并后的数据存储到目标数据库中,并进行数据管理和备份等操作。需要注意数据的一致性、安全性和可靠性等问题,可以采用数据库事务、备份、集群等技术手段来保障数据的完整性和可靠性。 头部银行删除一亿条数据中的几千万条的流程和细节如下: (1)备份数据:在删除之前,需要对数据库进行备份,以防误删或者数据丢失等情况发生。 (2)索引优化:对需要删除的数据进行索引优化,可以加快数据读取和删除操作的速度。 (3)分批次删除:每次删除一定数量的数据,根据具体情况可以动态调整每次删除的数据量。同时,需要注意数据删除的关联性和顺序,避免影响数据的一致性和完整性。 (4)监控和记录:对删除过程进行监控和日志记录,及时反馈删除进度和删除结果,方便后续排查和处理问题。 (5)分区、分表:可以采用分区、分表等技术手段来减小单张表的数据量,并降低删除操作对整个数据库的影响。需要根据具体需求选择合适的分区和分表策略,避免出现分区不均衡或者查询性能下降等问题。
投递牛客等公司10个岗位
0 点赞 评论 收藏
分享
@细致的牛肉丸吃不饱:
浪潮非常适合在本科混日子、没太大本事的学生,入职后会有一个师傅带你,锻炼几年基本的开发就没有问题了,虽然写的代码仍然是屎,但是周围人的也不见得高明。你的工资能在济南活下去,干个五六年,大部分人也都结了婚,贷款买了房,我们都有光明的未来。如果甘心当个混子,在这里你不用自学什么springcloud,反正也学不会。架构部的大佬都给弄好框架了,虽然有可能是v6这种**框架,但也有可能是基于dubbo之类的微服务框架,这对你区别不大,能写好业务就可以了。浪潮不是真正的互联网公司,大部分情况下面对的是最多几千最终用户的项目,单体架构都足够了。大部分时候加班只是在耗时长而已,部门是要考核加班时长的,你的部门不能落后,躺平就好。不搞内卷,你会发现对于开发人员,浪潮其实还行。实施人员反馈用户需求,大部分时候不需要开发直接去PK客户,实施人员能把屎山代码部署上,还能成功运行,真的不容易。有技术理想、有技术能力的学生不要来浪潮,特别是进了搞业务的部门,赶紧跳槽吧,浪潮不适合你。但如果你就是想搞业务或者混日子,只要你的组长或者事业部经理不是太操蛋,让你去泰安封闭开发两月,天天8107,还是能得过且过的。太多上了两个月培训班的人在浪潮成功就业并且一直千了下去,他们虽然跟着一起骂浪潮官僚主义骂浪潮886,但他们也清楚再也跳不出这个围城了。
点赞 4
评论 3
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客企业服务