视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
MySQL支持emoji图标存储
2020-11-09 06:56:57 责编:小采
文档

在MySLQ中 UPDATA 和 INSERT 数据的时候,如果数据上面带有emoji图标,例如:?、?、? 很容易更新或者插入不成功,导致报错。

Error: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD: 
Incorrect string value: '\xF0\x9F\x91\xBD\xF0\x9F...' for column 'name' at row

都快崩溃了,但是还好终于解决了这种鬼问题。资料显示原因是,MYSQL 5.5 之前, UTF8 编码只支持1-3个字节,只支持BMP这部分的unicode编码区,而emoji图标恰好是4个字节的编码进行存储。从MYSQL5.5开始,可支持4个字节UTF编码utf8mb4,一个字符最多能有4字节,所以能支持更多的字符集。所以要解决问题,必需把数据库表字符编码全部改成utf8mb4。

推荐:mysql视频教程

常用字符集

ASCII:美国信息互换标准编码;英语和其他西欧语言;单字节编码,7位表示一个字符,共128字符。

GBK:双字节,汉字内码扩展规范;中日韩汉字、英文、数字;双字节编码;共收录了21003个汉字,GB2312的扩展。

UTF-8:Unicode标准的可变长度字符编码;Unicode标准(统一码),业界统一标准,包括世界上数十种文字的系统;

UTF-8:使用一至三个字节为每个字符编码。

utf8mb4:存储四个字节,应用场景用于存储emoji表情,因为可以emoji表情四个字节。

utf8mb4:MySQL版本 > 5.5.3 。

其他常见字符集:UTF-32,UTF-16,Big5,latin1

数据库中的字符集包含两层含义

各种文字和符号的集合,包括各国家文字、标点符号、图形符号、数字等。

字符的编码方式,即二进制数据与字符的映射规则。

系统环境

MySQL 5.7.14

Mac OSX 10.11.6

首先备份

升级数据之前备份您服务器上的所有数据,保持良好习惯,安全第一!

升级您的MySQL

新的数据库可以在这里下载Upgrade the MySQL server to v5.5.3+。

修改您的数据库、表、字段

# 对每一个数据库:
ALTER DATABASE 这里数据库名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
# 对每一个表:
ALTER TABLE 这里是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 对每一个字段:
ALTER TABLE 这里是表名字 CHANGE 字段名字 重复字段名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 上面一句或者使用modify来更改
ALTER TABLE 这里是表名字 modify 字段名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT '';

utf8mb4完全向后兼容utf8,无乱码或其他数据丢失的形式出现。理论上是可以放心修改,如果您不放心修改,您可以拿备份恢复数据,然后让程序员处理这种兼容emoji存储问题,存的时候过滤一遍转成base,然后取的时候转回来?... 还是修改数据库比较方便。

检查你的字段和索引

不要将所有的都设置成utf8mb4,这个冒得必要。我只在我某些字段类型为VARCHAR的时候才设置成utf8mb4。

修改MySQL配置文件

这个地方最坑,我在我Mac osx 系统上找不到/etc/my.cnf 它根本不存在,所以我们需要创建这样一个文件并修改它。

# 进入这个目录,
# 在这个目录下面有个后缀为`.cnf`的文件
cd /usr/local/mysql/support-files/
# 将这个文件复制到`etc`目录中并将名字命名为`my.cnf`
sudo cp my-default.cnf /etc/my.cnf
# 然后编辑`my.cnf`文件,将下面内容复制到里面。
sudo vim /etc/my.cnf

MySQL configuration file (/etc/my.cnf):

[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

重启MySQL

重启步骤很重要,不然没有任何效果。

启动:/usr/local/mysql/support-files/mysql.server start

停止:/usr/local/mysql/support-files/mysql.server stop

重启:/usr/local/mysql/support-files/mysql.server restart

系统中可以以这种形式重启、停止或启动

service mysqld stop
service mysqld start
service mysqld restart

查看是否设置成功

通过下面命令查询是否设置成功!

# 登陆MySQL进行查询
mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';
# 运行上面代码显示下面结果
# +--------------------------+--------------------+
# | Variable_name | Value |
# +--------------------------+--------------------+
# | character_set_client | utf8mb4 |
# | character_set_connection | utf8mb4 |
# | character_set_database | utf8mb4 |
# | character_set_filesystem | binary |
# | character_set_results | utf8mb4 |
# | character_set_server | utf8mb4 |
# | character_set_system | utf8 |
# | collation_connection | utf8mb4_unicode_ci |
# | collation_database | utf8mb4_unicode_ci |
# | collation_server | utf8mb4_unicode_ci |
# +--------------------------+--------------------+
# 查看表的情况
mysql> SHOW FULL COLUMNS FROM users_profile;

到这一步表示你成功了!恭喜你!~

修复和优化表

我跑到这一步其实没有任何必要修复和优化表,为了保险起见,我还是运行了这两条命令,虽然不知道它有什么卵用,放在这里做个笔记吧。

REPAIR TABLE 表名字;
OPTIMIZE TABLE 表名字;

下载本文
显示全文
专题