最近时事热点新闻事件,重庆网站优化建设,哪些网站平台可以做推广,领导高度重视网站建设当数据量过大#xff0c;在定时任务中执行分表操作 1、复制表结构及数据
在xml中编写复制表结构及数据#xff08;newTableName为新表名、originalTableName为原始表名#xff09;
只复制表结构#xff1a;
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTa… 当数据量过大在定时任务中执行分表操作 1、复制表结构及数据
在xml中编写复制表结构及数据newTableName为新表名、originalTableName为原始表名
只复制表结构
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName} WHERE 10;复制表结构以及数据
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};在使用 CREATE TABLE … AS SELECT * FROM … 语句时添加 WHERE 10 和不添加的区别在于是否复制原表的数据。 不加 WHERE 10这会将原表中的数据一同复制到新表中。新表将包含原表中所有的行数据。 加上 WHERE 10这样做不会复制任何原表中的数据只会复制原表的结构列定义到新表中但新表不会包含任何行数据。
因此如果只复制表的结构而不需要复制数据可以在 CREATE TABLE … AS SELECT * FROM … 语句后面加上 WHERE 10。如果需要同时复制表的结构和数据就不需要添加这个条件。
2、清空原始表中的数据
清空原表使用 DELETE 或 TRUNCATE 语句清空原表中的数据。例如 使用 DELETE 语句逐行删除原表中的数据
DELETE FROM original_table;使用 TRUNCATE 语句一次性清空原表中的所有数据
TRUNCATE TABLE original_table;注意TRUNCATE 语句会更快地清空表中的数据但无法回滚操作。
在执行清空原始表中的数据操作之前请务必备份好原表中的数据以防止数据丢失或意外删除。
3、示例代码
定时任务类
package com.yutu.garden.task;import com.yutu.garden.mapper.gardens.SanitationJobStatisticsMapper;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;import javax.annotation.Resource;
import java.text.SimpleDateFormat;
import java.util.Date;/*** 定时分区、分表*/
Component
EnableScheduling
//ConditionalOnProperty(name scheduled.tasks.enabled, havingValue true) //application.yml控制所有task任务启动或不启动
public class SplitTrajectoryTableTask {Resourceprivate SanitationJobStatisticsMapper sanitationJobStatisticsMapper;// Scheduled(cron 0 0 * * * ?) //每小时的整点执行一次任务Scheduled(cron 0 0/1 * * * ?) //一分钟执行一次public void checkDataSizeAndSplitTable() {int trajectorySize sanitationJobStatisticsMapper.getTrajectorySize(); // 获取数据量if (trajectorySize 200000) { // 判断数据量是否过大splitTable(); // 执行分表操作}}private void splitTable() {// 获取需要分表的原始表名和新表名前缀根据实际情况设置String originalTableName card_device_trajectory_info; //原始表名String newTableNamePrefix card_device_trajectory_info_; //新表 拼接日期// 获取当前日期作为分表后缀或者使用其他规则SimpleDateFormat sdf new SimpleDateFormat(yyyyMMdd);String tableSuffix sdf.format(new Date());// 生成新表名String newTableName newTableNamePrefix tableSuffix;// 创建新的分表 并 将原始表中符合条件的数据迁移到新表根据实际情况设置条件sanitationJobStatisticsMapper.copyTable(originalTableName,newTableName);// 更新原始表 将原始表中的数据清空注意测试前先备份好原始数据以防丢失sanitationJobStatisticsMapper.truncateTable(originalTableName);}
}
Mapper方法 int getTrajectorySize();boolean copyTable(Param(originalTableName) String originalTableName,Param(newTableName) String newTableName);boolean truncateTable(Param(originalTableName) String originalTableName);Sql语句 select idgetTrajectorySize resultTypeintselect count(*) from card_device_trajectory_info/selectupdate idcopyTable![CDATA[CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};]]/updatedelete idtruncateTableTRUNCATE TABLE ${originalTableName};/delete在 Mybatis 的 XML 中使用 ![CDATA[ ]] 包裹 SQL 语句是为了防止 XML 解析器将其中的特殊字符如 , 解析成 XML 标签从而导致语法错误。因此加上![CDATA[ ]] 是一种良好的实践可以确保 SQL 语句被正确解析。
但是在某些情况下如果 SQL 语句中不包含需要转义的特殊字符也可以省略 ![CDATA[ ]]。例如如果 SQL 语句只包含简单的 SELECT 语句没有特殊字符那么可以直接写在 update 标签内而无需使用 ![CDATA[ ]] 包裹。 以下是不使用 ![CDATA[ ]] 包裹 SQL 语句的示例
update idcopyTableCREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};
/update
如果 SQL 语句中包含特殊字符或需要转义的内容建议仍然使用 ![CDATA[ ]] 对 SQL 进行包裹
4、多表创建临时视图查询
创建临时视图 card_device_trajectory_info_view
CREATE TEMPORARY VIEW card_device_trajectory_info_view AS
SELECT *
FROM card_device_trajectory_info --表1
UNION ALL
SELECT * FROM card_device_trajectory_info_bf; --表2执行业务查询 select * from card_device_trajectory_info_view where imei 15127423721 and DATE(gps_time) CURRENT_DATE order by gps_time asc手动删除视图资源 如果不手动删除也会自动删除所以这一步可以省略 DROP VIEW card_device_trajectory_info_view;临时视图和普通视图永久视图之间有以下区别 生命周期临时视图只在当前会话有效会话结束后会自动删除。而普通视图是永久性的会一直存在数据库中除非显式删除。 可见性临时视图只对创建它的会话可见其他会话无法访问。而普通视图对所有会话都可见可以被多个会话共享和使用。 存储方式临时视图的数据可以存储在内存或者临时表中查询速度较快。而普通视图的数据存储在磁盘上查询速度可能相对较慢。 持久性临时视图是临时创建的不会被数据库系统持久化存储。而普通视图是一个已经定义好的查询可以被保存并在需要时重新使用。 数据更新临时视图一般用于查询数据不能进行数据更新操作。而普通视图可以根据定义的规则进行数据更新例如使用触发器或者规定的权限。 使用场景临时视图通常用于会话级别的临时计算或者中间结果的存储。普通视图用于复杂查询、数据重用和提供简化的数据模型。
CREATE TEMPORARY VIEW table_view --创建临时视图会话结束会自动删除
CREATE VIEW table_view --创建普通视图会话结束不会自动删除需要手动 DROP VIEW table_view 进行删除总的来说临时视图适用于需要在会话中临时存储和处理数据的场景而普通视图适用于长期的数据查询和数据模型定义。选择使用哪种类型取决于业务需求和数据处理的特点。
