V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  algas  ›  全部回复第 9 页 / 共 12 页
回复总数  223
1  2  3  4  5  6  7  8  9  10 ... 12  
2016-03-05 14:38:33 +08:00
回复了 syhsyh9696 创建的主题 Apple 晚上做梦梦到 MacBook Pro 突然更新
@lasse 竟然是年底发布,不是 WWDC 或者 3 月 21 ?
2016-02-20 18:02:10 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@jhdxr

@realpg
啊,掩面.... 无颜在 V 站冒泡了

不过 un3 和 un4 确实是要用 bigint 保存的,原始数据就是 9 位左右长度的数字,例如 446943213 。
我担心后面的数据会出现更长情况,就选用了 bigint 类型,目的是压缩空间。

只能说这 2 个 unknown 数据目前没啥用,我运气还不错,没出问题~

我是物理方向的研究生,因为需要多次对这 100 多 G 的数据进行筛取分析,我认为使用数据库要更方便和快速,所以我在努力让自己略懂啊
2016-02-05 11:25:16 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@realpg
bigint(8) 大概类似 Linux C 里面的 long long int 吧,当时考虑是为了压缩体积就没有用 char
2016-02-04 19:07:32 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
另外,
+----------------+----------------+-----------+------------+---------+
| Table Name | Number of Rows | Data Size | Index Size | Total |
+----------------+----------------+-----------+------------+---------+
| taxi.t20101119 | 16.7206M | 1.9150G | 0.0000G | 1.9150G |

这个是按照 id 做了索引的,不知道上面显示的 index size 是不是指索引的大小。
2016-02-04 19:03:07 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@realpg


表的结构如下, un4 是用的默认的 bigint ,没想到这么大。。。
*************************** 1. row ***************************
Table: t20101101
Create Table: CREATE TABLE `t20101101` (
`un1` char(9) DEFAULT NULL,
`un2` char(5) DEFAULT NULL,
`id` char(12) DEFAULT NULL,
`dat` char(14) DEFAULT NULL,
`lon` double(16,10) DEFAULT NULL,
`lat` double(16,10) DEFAULT NULL,
`un3` bigint(8) DEFAULT NULL,
`un4` bigint(20) DEFAULT NULL,
`speed` float(7,3) DEFAULT NULL,
`direct` int(4) DEFAULT NULL,
`status` int(4) DEFAULT NULL,
`event` int(4) DEFAULT NULL,
`un5` char(5) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1

下面的按照你写的命令输出的结果。
+----------------+----------------+-----------+------------+---------+
| Table Name | Number of Rows | Data Size | Index Size | Total |
+----------------+----------------+-----------+------------+---------+
| taxi.t20101101 | 15.8967M | 1.9131G | 0.0000G | 1.9131G |
| taxi.t20101102 | 15.1946M | 1.7744G | 0.0000G | 1.7744G |
| taxi.t20101103 | 15.8909M | 1.9199G | 0.0000G | 1.9199G |
| taxi.t20101104 | 16.8661M | 1.9072G | 0.0000G | 1.9072G |
| taxi.t20101105 | 6.5362M | 0.7852G | 0.0000G | 0.7852G |
2016-02-04 18:39:38 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@id4alex 对哟
文本文件 1.5G ,数据库文件 2.0G ,做了一个索引后变成了 2.2G
2016-02-04 11:16:08 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@realpg 真的就是数据库文件大啊,下面是部分 ls -lh 结果
-rw-rw----. 1 mysql mysql 65 Feb 3 15:13 db.opt
-rw-rw----. 1 mysql mysql 785 Feb 4 05:27 t20101124.frm
-rw-rw----. 1 mysql mysql 2.1G Feb 4 06:11 t20101124.ibd
-rw-rw----. 1 mysql mysql 785 Feb 4 06:11 t20101125.frm
-rw-rw----. 1 mysql mysql 2.2G Feb 4 06:53 t20101125.ibd
-rw-rw----. 1 mysql mysql 785 Feb 4 06:53 t20101126.frm
-rw-rw----. 1 mysql mysql 2.6G Feb 4 07:38 t20101126.ibd
-rw-rw----. 1 mysql mysql 785 Feb 4 07:37 t20101127.frm
-rw-rw----. 1 mysql mysql 3.0G Feb 4 08:36 t20101127.ibd
-rw-rw----. 1 mysql mysql 785 Feb 4 08:36 t20101128.frm
-rw-rw----. 1 mysql mysql 4.4G Feb 4 10:00 t20101128.ibd


@yangqi
@caola
你们说的都对,我是担心我使用姿势不对,毕竟 2 进制文件比文本文件
还要大出 50%以上。
缩减体积也是很重要的事情嘛,当然性能第一。
2016-02-03 20:56:46 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
不过 archive 不支持索引,不知道对查询会不会影响很大,
总之需要先干掉原来的索引
drop index sID on t20101101;
不然会出现 ERROR 1121 (42000): Table handler doesn't support NULL in given index.

有文章中说 archive 支持索引,但是每次 select 都要进行全表扫描,我就不明白这个索引还有啥用。
http://www.yoonper.com/?p=1457

看来我要换到 tokudb 了。。。
2016-02-03 20:28:19 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
@mko0okmko0

我先尝试了以下一键优化
MariaDB [taxi]> OPTIMIZE table t20101101;
+----------------+----------+----------+-------------------------------------------------------------------+
| Table | Op | Msg_type | Msg_text |
+----------------+----------+----------+-------------------------------------------------------------------+
| taxi.t20101101 | optimize | note | Table does not support optimize, doing recreate + analyze instead |
| taxi.t20101101 | optimize | status | OK |
+----------------+----------+----------+-------------------------------------------------------------------+
2 rows in set (26 min 55.42 sec)

没有缩减体积,另外 ibdata1 文件并不大,只有 70 多 MB 。

我考虑先尝试一下 ARCHIVE 引擎,因为后面只有繁重的查询,
不过现在还不知道怎么换存储引擎。

tokudb 貌似需要额外安装,先暂缓吧
2016-02-03 18:02:05 +08:00
回复了 algas 创建的主题 MySQL mariadb 导入 txt 数据后体积有点大
Server version: 10.0.21-MariaDB MariaDB Server
2016-01-25 10:35:25 +08:00
回复了 xdlailai 创建的主题 Linux linux 下如何制作 iso 格式的启动镜像
@michaelscofield +1

关键是要有个 live cd 的 iso ,把现有的系统变成 live cd 有点难
2016-01-25 10:32:20 +08:00
回复了 guoqiao 创建的主题 Linux Ubuntu 登录循环问题
可以尝试一下,关闭 SElinux ,根目录改为 755

我之前遇到的问题和你差不多,只是控制台下也登录不了。。。
2016-01-20 13:39:30 +08:00
回复了 algas 创建的主题 Linux 服务器被攻破,求查找原因
@initialdp 晚上我去试试,非常有用的信息。
2016-01-20 13:36:27 +08:00
回复了 algas 创建的主题 Linux 服务器被攻破,求查找原因
@greenskinmonster 没有关掉密码登录,只是禁用了 root

@vicesa 这个可能性很高,有很多普通用户都是小白, windows 下的软件很不注意的,我回头要强调一下

不过我们几个管理员都是用的 linux ,密码泄露的风险很小,普通用户提权应该很困难吧,用的 centos 系统,也有按时更新的。
2016-01-20 13:29:24 +08:00
回复了 algas 创建的主题 Linux 服务器被攻破,求查找原因
@airqj last 里没有看到异常登录,其他的我也不知道该去看什么了。。。

@sunsh217 除了第二条都有做,固定 ip 开放不太可行,但是有限制密码尝试次数。

@Guenlay
@lyragosa
不知道算是哪种,我只是知道 root 才能修改的文件被改动了,修改结果是自动下载并执行了一个文件。昨天系统出了奇怪的问题,所有用户都无法登录,显示 permission denial ,貌似是 SELinux 被玩坏了的原因,修改了/的权限并关闭了 SELinux 才解决问题。
@paw 啊,这个,它只是个计算服务器
2016-01-20 10:54:52 +08:00
回复了 algas 创建的主题 Linux 服务器被攻破,求查找原因
@pheyer
rc.local 被修改就够严重了吧,何况还被添加了一条下载并执行未知程序的一行。
2016-01-10 12:39:38 +08:00
回复了 strahe 创建的主题 Linux 求推荐自带 Linux 的超级本
雷蛇最近有一个本子我很喜欢, 12.5 寸,月底上市。

但是不知道对 linux 的兼容性是不是友好

http://www.razerzone.com/gaming-systems/razer-blade-stealth
2015-12-24 13:24:13 +08:00
回复了 syhsyh9696 创建的主题 编程 求最短路
根据矩阵,选择距离当前节点为 1 的节点{j},遍历所有{j}选择到目标节点距离最短的节点作为路径上的下一个节点,依次迭代到目标节点。
2015-12-24 10:45:03 +08:00
回复了 syhsyh9696 创建的主题 编程 求最短路
假设不可达,是说没有办法从一个节点到另一个节点吗?
2015-12-22 14:14:44 +08:00
回复了 czipeng 创建的主题 Linux 大家学习 linux 都是从哪里开始的?是 centos 吗
fedora
1  2  3  4  5  6  7  8  9  10 ... 12  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2241 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 16:05 · PVG 00:05 · LAX 08:05 · JFK 11:05
Developed with CodeLauncher
♥ Do have faith in what you're doing.