V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  la0wei  ›  全部回复第 5 页 / 共 39 页
回复总数  763
1  2  3  4  5  6  7  8  9  10 ... 39  
2023 年 11 月 13 日
回复了 xinJang 创建的主题 宽带症候群 爽了几年的 bug 双不限给玩挂了
@xinJang 现在这卡是什么情况,依然是达量限速吗,限速到多少
2023 年 11 月 13 日
回复了 xinJang 创建的主题 宽带症候群 爽了几年的 bug 双不限给玩挂了
@LifeAqua @Musong https://v2ex.com/t/980301#reply1 推广是公共板块中我刷到帖子最少的了,这样的帖子他也能回复一个,一般不需要不都是默默关闭吗。目前 384 点击,只有他一条回复,同时强调了“双不限”

https://v2ex.com/t/978464 #40 主题是问用什么卡,他回复“目前使用境外卡双不限 每月 300g 流量”

至于是炫耀还是卡商引流,这点无从得知
2023 年 11 月 13 日
回复了 xinJang 创建的主题 宽带症候群 爽了几年的 bug 双不限给玩挂了
楼上一堆求介绍的不要发了,看这人过往留言记录,应该是所谓澳门红卡,是限速不限量的卡,至于他的为什么不限速,这个无从查证。他也没有分享这款卡的意思,只是想强调自己有不限速不限量可访问外网的卡而已
2023 年 9 月 7 日
回复了 putyy 创建的主题 程序员 更新了一下 res-downloader,新增批量下载!
发到分享创造受众会多些,小众软件的论坛也可以
2023 年 9 月 5 日
回复了 monkeyWie 创建的主题 分享创造 🎉开源下载器 Gopeed v1.3.11 发布,已经支持 iOS 了
有类似 aria2 的远程控制功能吗
aria2 和 idm 这两个软件槽点太多,还有那么多人喜欢用
2023 年 8 月 23 日
回复了 kylebing 创建的主题 音乐 分享一个宝藏作者: Daveed 吉他纯音乐
bliss 的旋律不错
2023 年 8 月 23 日
回复了 zkw111 创建的主题 硬件 帮我看一下这一套 E5 的配置能行不
我也想买个 C612 的准系统,之前买的寨板,质量实在太差了,开始 sata 掉盘,然后 m2 接口螺丝底座掉了,再后来开不了机。准备买个联想 p510 ,或者 HP Z440 。联想 p500 太老了点,差不多 10 年了。
2023 年 8 月 17 日
回复了 Comyn 创建的主题 问与答 你们城市坐地铁会被人工安检和测水吗
@horizon #49 反正也没什么公信力了,先比嗓门大,把反对的声音压过去再说
等一个类似下面的合订本
国家统计局 7 月说:按规律,8 月份以后青年失业率会下降
国家统计局 8 月:全国青年人等分年龄段的城镇调查失业率暂停发布
2023 年 8 月 16 日
回复了 Comyn 创建的主题 问与答 你们城市坐地铁会被人工安检和测水吗
@horizon 不如按人头发钱。大头都被谁拿走大家都懂
这是什么技术手段?
2023 年 6 月 27 日
回复了 la0wei 创建的主题 Python Python + mysql 多条相似 sql 语句查询如何加速?
@wxf666
看定义应该是覆盖索引,我把 date ,devicecode ,code ,status 四个字段做了一个索引。另外该数据库没有主键,因为 mysql 的数据是从 oracle ,用 PDI(kettle)抓取过来的,原表有个 NID 是主键,但没有抓取 NID ,一个原因是 kettle 在抓取数据时报错,有 NID 字样,但我无法完全定位错误原因,而在取消 NID 的抓取后,可以顺利完成数据抓取,二是我不需要该字段,只是为了生成报表方便自己而已,所以没有抓取该字段,自然就没有主键索引

sqlite 确实可以深挖下,后面再改改程序

非常感谢这几天的指导!
2023 年 6 月 26 日
回复了 la0wei 创建的主题 Python Python + mysql 多条相似 sql 语句查询如何加速?
@wxf666 不修改任何代码,只配合使用索引生效后的 mysql ,200 万数据,原先查询 2000 个编号,每个编号 6 次查询,需要 3 小时+,现在只要 16S !
当然没有你的 1 亿数据效果那么夸张,不过也够用了。

后面感兴趣几点,可能会做测试。
1.我把数据量加大,大概最多到 1200W 的样子(存量历史数据就这么多),查询效果怎样

2.用 sqlite 读数据库文件进内存查询,速度不够快,单条查询在 0.5S 的样子,是因为读取数据时没有读取索引吗,而你在内存构建数据库,我看是有索引的,可能就是速度差异的原因。

3.sqlite 读入内存查询和常规的方法速度比较
2023 年 6 月 26 日
回复了 la0wei 创建的主题 Python Python + mysql 多条相似 sql 语句查询如何加速?
@wxf666 确认问题所在了,之前创建的索引在查询时没有使用,为什么没有使用就不知道了。

用 explain 看了下 sql 语句,发现没使用索引。把之前用 GUI 工具创建的索引删除,用 sql 语句重新创建了索引,再次 explain ,能看出使用了索引。
再次执行 select ,HDD 上执行速度多数在 0.1 秒以下,慢的也在 0.1s 的量级。

在 win10 SSD 上的 mysql 执行同样的操作,速度还稍稍有点慢,有些不能理解。可以看出,磁盘读取比重建索引之前要少的多,只有几十兆的样子,这才是数据库正确的打开方式啊

不过还是蛮喜欢内存数据库的。
https://stackoverflow.com/questions/3850022/how-to-load-existing-db-file-to-memory-in-python-sqlite3
使用
import sqlite3

source = sqlite3.connect('existing_db.db')
dest = sqlite3.connect(':memory:')
source.backup(dest)
可以把数据库文件读取到内存。昨晚在家简单测试,效果不错,可惜数据量不够,不能体现出完整效果

早上测试多个查询,初始需要读取整个数据库,首次查询较慢,后面速度就快多了。不过速度似乎是没有 mysql 快的,索引的效果看来是很好的
2023 年 6 月 26 日
回复了 dzdh 创建的主题 信息安全 有没有什么类似 BOXCRYPTOR 的软件
rclone
2023 年 6 月 25 日
回复了 la0wei 创建的主题 Python Python + mysql 多条相似 sql 语句查询如何加速?
@wxf666
执行的语句除了字段名称不同,和你的其实是一样的,日期写法不同,不过我猜不是重点。

我也准备弃用 mysql ,sqlite 确实方便。
另外,延迟的问题搞不定。我在 heidisql ( gui 工具)执行 sql 时,任务管理器的磁盘是有非常明显的读写,峰值大概在 130M 的样子,硬盘读取回落后,heidisql 立刻就出结果了。连续查询,磁盘就相应的出现读取。有明显的相关性

查数据读盘很正常,读那么多数据就玩完了,我也怀疑过索引有问题,使用 explain 执行,看到是利用了索引的,我再研究下这块。明天检查下索引,再重建下试试看。

我最初的方法是用 sql 查询把数据读取到 python 中,然后自己写逻辑,现在想来其实是解决不了延迟情况下一个非常好的方案了。你的方法更进一步,使用内存数据库,这样可以省去编写逻辑编写过程,直接使用 sql ,应该是最合理的。

只要延迟不解决,就只能搞内存数据库了

https://dba.stackexchange.com/questions/172030/mysql-network-time
这里有遇到和我一样问题的人。明明本地数据库,为何有 network time.
1  2  3  4  5  6  7  8  9  10 ... 39  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   963 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 19:45 · PVG 03:45 · LAX 12:45 · JFK 15:45
♥ Do have faith in what you're doing.