发表于 | 分类于

背景

因为数据库要升级到 MySQL 8.0 所以要对架构做升级，主要的修改工作如下：

  • 驱动包要升级为 mysql-connector-java-8.0.11.jar

  • JDBC driver 由 com.mysql.jdbc.Driver 改为 com.mysql.cj.jdbc.Driver

  • JDBC url 中加上 userSSL=false

问题

升级以后发现通过 Mybatisplus 从数据库获取的时间字段值和数据库的值会有几小时的差异，这其实是程序所在时区和数据库的时区不一致导致的。

阅读全文 »

发表于 | 分类于

背景

金蝶云上传文件的结果会以image类型保存在SqlServer数据库，现在希望用代码的方式把这部分文件批量导出

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
sql = "SELECT * FROM T_BAS_Attachment"
self.cursor.execute(sql)
res = self.cursor.fetchall()
for item in res:
	 content = item[10]
    data = io.BytesIO(content)
    filename = item[4]
    if filename is not None:
        directory = '/Users/insta360/Downloads/attachment/' + item[1]
        if not os.path.exists(directory):
            os.makedirs(directory)
        with open(directory + '/' + item[5] + '_' + item[4], 'wb') as f:
            f.write(data.getvalue())
            data.close()

发表于 | 分类于

问题背景

有一张数据库表，记录了一些抖音视频每小时的播放量与点赞量，每个视频每小时都会产生一条记录。现在需要查出每个视频最新的一条记录，希望通过一条sql语句搞定。第一反应就是对 video_id 进行 Group By ，然后想办法取出每一组中 created_time 最新的那条数据。在最后加 Order By 显然是行不通的，因为 Order By 是对 Group By 的结果进行排序。

误区

关于这种问题，网上有很多错误的解决方法，思路是先通过一个子查询把数据按照 created_time 倒序排序，然后再进行 Group By，sql语句如下：

1
2
3
SELECT * FROM
(SELECT * FROM douyin_official_video WHERE ORDER BY created_time DESC) t
GROUP BY video_id

这个方法的成立需要一个前提，就是MySQL 在 Group By 后是按照当前数据排列顺序选择第一条记录的。

阅读全文 »

发表于 | 分类于

问题

一般情况下，一百万以下数据量的表可以直接进行字段添加操作。而如果数据表的大小达到几百万几千万甚至更多时，添加一个字段会引起数据库卡死。经查阅，数据库大表添加字段有以下两个方法。

方法一

  1. 创建一个新表，复制旧表的结构（包含索引）

  2. 给新表加上添加需要新增的字段

  3. 把旧表的数据复制到新表，注意需要分批循环插入，不然容易卡死

  4. 删除旧表，重命名新表的名字为旧表的名字

方法二

使用 Percona 的在线工具在线修改表结构

教程： https://blog.csdn.net/hpulfc/article/details/87938724

发表于 | 分类于

<> 与 != 查询不到 null

1
2
3
4
5
6
// 查询结果中不包括 null
SELECT id FROM table where value <> 1 
SELECT id FROM table where value != 1 
// 查询结果中包括 null
SELECT id FROM table where value is not 1

查询 null 需要用 is 和 is not

1
2
3
4
5
// 查询影响不了 null
SELECT id FROM table where value != null 
// 查询影响 null
SELECT id FROM table where value is not null

发表于 | 分类于

背景

把 java 项目打包成 jar 包时，资源文件夹 resources 下的文件会被打包进 jar 包里面。当使用 jar 运行整个项目时， 通过 getResource() 方法获得的资源文件路径会变成 xxx.jar!/xxx 的格式，这种格式的路径，不能通过 new File 的方式找到文件。这里我提供两个思路解决这个问题。

阅读全文 »