视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
88秒插入1000万条数据到MySQL数据库表的操作方法
2020-11-09 20:22:10 责编:小采
文档


出现上面的错误是因为数据库表的 max_allowed_packet 这个配置没配置足够大,因为默认的为4M的,后来我调为100M就没报错了

set global max_allowed_packet = 100*1024*1024* 

记住,设置好后重新登录数据库才能看的设置后的值

show VARIABLES like '%max_allowed_packet%'

代码如下:

package insert;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Date;
import com.mysql.jdbc.PreparedStatement;
public class InsertTest {
 public static void main(String[] args) throws ClassNotFoundException, SQLException {
 final String url = "jdbc:mysql://127.0.0.1/teacher" ; 
 final String name = "com.mysql.jdbc.Driver" ; 
 final String user = "root" ; 
 final String password = "123456" ; 
 Connection conn = null ; 
 Class.forName(name); //指定连接类型 
 conn = DriverManager.getConnection(url, user, password); //获取连接 
 if (conn!= null ) {
 System.out.println( "获取连接成功" );
 insert(conn);
 } else {
 System.out.println( "获取连接失败" );
 }
 }
 public static void insert(Connection conn) {
 // 开始时间
 Long begin = new Date().getTime();
 // sql前缀
 String prefix = "INSERT INTO t_teacher (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES " ;
 try {
 // 保存sql后缀
 StringBuffer suffix = new StringBuffer();
 // 设置事务为非自动提交
 conn.setAutoCommit( false );
 // 比起st,pst会更好些
 PreparedStatement pst = (PreparedStatement) conn.prepareStatement( "" ); //准备执行语句
 // 外层循环,总提交事务次数
 for ( int i = 1 ; i <= 100 ; i++) {
 suffix = new StringBuffer();
 // 第j次提交步长
 for ( int j = 1 ; j <= 100000 ; j++) {
 // 构建SQL后缀
 suffix.append( "('" + uutil.UUIDUtil.getUUID()+ "','" +i*j+ "','123456'" + ",'男'" + ",'教师'" + ",'www.bbk.com'" + ",'XX大学'" + ",'" + "2016-08-12 14:43:26" + "','备注'" + ")," );
 }
 // 构建完整SQL
 String sql = prefix + suffix.substring( 0 , suffix.length() - 1 );
 // 添加执行SQL
 pst.addBatch(sql);
 // 执行操作
 pst.executeBatch();
 // 提交事务
 conn.commit();
 // 清空上一次添加的数据
 suffix = new StringBuffer();
 }
 // 头等连接
 pst.close();
 conn.close();
 } catch (SQLException e) {
 e.printStackTrace();
 }
 // 结束时间
 Long end = new Date().getTime();
 // 耗时
 System.out.println( "1000万条数据插入花费时间 : " + (end - begin) / 1000 + " s" );
 System.out.println( "插入完成" );
 }
}

总结

以上所述是小编给大家介绍的88秒插入1000万条数据到MySQL数据库表的操作方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

您可能感兴趣的文章:

  • php往mysql中批量插入数据实例教程
  • python读取word文档,插入mysql数据库的示例代码
  • mysql中插入表数据中文乱码问题的解决方法
  • MySQL入门(四) 数据表的数据插入、更新、删除
  • php插入mysql数据返回id的方法
  • JDBC连接MySql数据库步骤 以及查询、插入、删除、更新等
  • python3 pandas 读取MySQL数据和插入的实例
  • 解决Linux下Tomcat向MySQL插入数据中文乱码问题
  • mybatis foreach批量插入数据:Oracle与MySQL区别介绍
  • mysql数据插入效率比较
  • 下载本文
    显示全文
    专题