V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  yigecook  ›  全部回复第 1 页 / 共 1 页
回复总数  13
45 天前
回复了 kongkongye 创建的主题 程序员 AI 成本太高怎么办?
找能付得起💰的甲方
82 天前
回复了 maleclub 创建的主题 Android 给一加宣布死刑
本来还想换安卓,看样子不如买其他地区的 iphone
@sophos 那说明你没这方面需求,无所谓的。
搞太复杂了的话,对接第三方系统会窒息。
145 天前
回复了 beryl 创建的主题 程序员 技术方案讨论,移除实时日志中的敏感数据
3g 的话,用 python 操作流式处理,也不用每五分钟处理,设置 chunk 为 200M ,就好。

```python
import re

# 定义敏感数据的正则表达式模式
sensitive_data_pattern = re.compile(r'\b\d{16}\b')

def process_chunk(chunk):
# 使用正则表达式替换敏感数据
return sensitive_data_pattern.sub('****', chunk)

def process_log_file(input_file_path, output_file_path, chunk_size=200*1024*1024):
with open(input_file_path, 'rb') as input_file, open(output_file_path, 'wb') as output_file:
while True:
chunk = input_file.read(chunk_size)
if not chunk:
break
# 将字节数据转换为字符串进行处理
chunk_str = chunk.decode('utf-8', errors='ignore')
processed_chunk_str = process_chunk(chunk_str)
# 将处理后的字符串转换回字节数据
processed_chunk = processed_chunk_str.encode('utf-8')
output_file.write(processed_chunk)

# 使用示例
input_file_path = 'path/to/your/large_log_file.log'
output_file_path = 'path/to/your/processed_log_file.log'

process_log_file(input_file_path, output_file_path)
```

以上脚本的工作流程如下:

定义敏感数据的正则表达式模式,用于匹配和替换敏感数据。
process_chunk 函数会对读取的块进行处理,移除敏感数据。
process_log_file 函数会逐块读取输入日志文件,每次读取 200M 的数据,处理后写入到输出文件。
通过这种方式,处理过程不会占用超过 200M 的内存,同时也能够有效地移除日志中的敏感数据。请根据您的具体需求调整正则表达式模式和其他处理逻辑。
2023-10-26 20:38:18 +08:00
回复了 fancy2020 创建的主题 Node.js 大家在开发过程中是如何管理多个项目不同的 NodeJS 版本的?
你的精力够同时应付几个项目?手动切一下很快呀
2023-09-03 23:23:33 +08:00
回复了 LisaSue 创建的主题 iOS 请问 ios 可以把收到的短信转发到邮箱吗
可以的,我实现了从 iphone 转发到安卓
2021-12-27 13:37:20 +08:00
回复了 lidacuigege 创建的主题 macOS monterey beta 12 升级正式版 卡在剩余大约 52 分钟
我也有同样 的问题
2021-12-26 23:38:24 +08:00
回复了 Frank777 创建的主题 macOS Monterey 12.1 收不到更新
同样的问题,一直无法升级
2020-05-08 09:37:14 +08:00
回复了 ToBeHacker 创建的主题 Linux 如何把一个树莓派改造成软路由
树莓派 4 性能不弱呀
2017-07-20 15:59:09 +08:00
回复了 SingeeKing 创建的主题 程序员 Setapp 推出年费套餐 && 现在还有谁在付费订阅?
月费+1
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3143 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 00:18 · PVG 08:18 · LAX 16:18 · JFK 19:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.