V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
1989922yan
V2EX  ›  Python

[问] 有没有“动态页面静态化”的服务?或者,开源系统??请贴地址 或 项目名

  •  
  •   1989922yan · 2015-04-30 11:28:06 +08:00 · 4137 次点击
    这是一个创建于 3497 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  2015-05-01 15:35:21 +08:00
    附加:

    简单的说,就是“google快照” 或者 “百度快照” 的东西
    但是,更灵活,对现有业务系统,改动最小
    最理想的状态,就是:动态页面静态化的系统。

    这是一个想法。
    nginx可以完成的是反向代理,高效代理静态文件。
    我希望利用这样的特点,把“动态的网站”完全静态化,或者,尽量多地静态化。

    希望讨论。如果现有这样的系统,希望给出。
    python非常适合做这个项目。
    第 2 条附言  ·  2015-05-06 10:39:12 +08:00
    我想明白怎么更清楚地描述这个系统了:

    不是希望简单地让服务器(nginx或者其他)做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器(nginx或者其他)缓存
    24 条回复    2015-05-06 10:38:06 +08:00
    knightlhs
        1
    knightlhs  
       2015-04-30 11:38:26 +08:00
    描述不明确
    什么叫 动态页面静态化 的服务 在我看 CDN 就完成你的需求了
    loading
        2
    loading  
       2015-04-30 12:03:39 +08:00 via Android
    webzip另一种用途。
    ryd994
        3
    ryd994  
       2015-04-30 15:27:12 +08:00
    nginx反代加缓存不也是一样效果?
    kofj
        4
    kofj  
       2015-04-30 21:34:00 +08:00
    curl
    janxin
        5
    janxin  
       2015-05-01 10:43:11 +08:00
    CMS应该都会有这类的功能吧...不过php之类的比较常见一点
    xiaoz
        6
    xiaoz  
       2015-05-01 12:04:05 +08:00 via Android
    开启缓存
    1989922yan
        7
    1989922yan  
    OP
       2015-05-01 15:43:34 +08:00
    @knightlhs

    我添加了附加,再帮我看看呢。
    假如,我现在有一个动态页面,整个页面都是从数据库中取数据。每一次请求都是。
    那么cdn是设置过期时间,然后才会更新的,是这样吗?
    1989922yan
        8
    1989922yan  
    OP
       2015-05-01 15:44:36 +08:00
    @loading
    到位。如果可以直接用在后端应用,那么整个网站都能静态化下来
    1989922yan
        9
    1989922yan  
    OP
       2015-05-01 15:46:11 +08:00
    @ryd994

    的确希望用类似nginx高效的机制
    如果仔细考虑你说缓存,在用户访问使用的时候,其实是一个策略在里面的,还需要考虑
    @xiaoz
    1989922yan
        10
    1989922yan  
    OP
       2015-05-01 15:48:33 +08:00
    @janxin

    同样看到PHP的动态静态化了
    的确可以实现
    只是我现在希望单独一个系统处理,这样动态代码和静态服务,可以分开
    xiujie2005
        11
    xiujie2005  
       2015-05-01 23:58:43 +08:00
    varnish
    1989922yan
        12
    1989922yan  
    OP
       2015-05-02 00:58:20 +08:00
    @xiujie2005 是类似nginx吗?
    wsph123
        13
    wsph123  
       2015-05-02 11:44:53 +08:00
    CDN 强制一段时间不更新就是了吧
    loading
        14
    loading  
       2015-05-02 13:08:03 +08:00 via Android
    在windows下,我可以用python配合webzip类软件搞定。
    局域网?细思极恐!
    shootsoft
        15
    shootsoft  
       2015-05-02 21:30:48 +08:00
    看你目的是想干什么,如果是你想离线浏览某些网页或者测试某些服务,可以试试这个https://github.com/shootsoft/Easygoing.FiddlerCache
    1989922yan
        16
    1989922yan  
    OP
       2015-05-02 23:13:44 +08:00
    @wsph123 我在看看,cdn有没有粒度更细的静态化
    1989922yan
        17
    1989922yan  
    OP
       2015-05-02 23:14:30 +08:00
    @loading
    还是网站的静态化问题,其实也就是控制粒度到标签就可以了
    1989922yan
        18
    1989922yan  
    OP
       2015-05-02 23:15:02 +08:00
    @shootsoft 我希望通过网站静态化,提供更高的并发量
    fburst
        19
    fburst  
       2015-05-02 23:23:22 +08:00
    用爬虫抓取网页?
    xiujie2005
        20
    xiujie2005  
       2015-05-03 00:12:11 +08:00
    Varnish工作原理及配置详解
    http://harisxiong.blog.51cto.com/7513022/1556778
    不用再多说吧.这个应该满足你
    1989922yan
        21
    1989922yan  
    OP
       2015-05-03 22:30:03 +08:00
    @fburst
    原理是一个。但是爬虫现在的目的,不再是获取内容做分析。
    而是,获得内容,然后静态化可以静态化的,动态部分可以用js做restful(我是这样想,具体还得思量)
    1989922yan
        22
    1989922yan  
    OP
       2015-05-03 22:35:34 +08:00
    @xiujie2005

    哥们,很靠谱。
    这里,你注意到,Varnish会判断“是否可以缓存“。
    如果我们主动让让我们的内容,全部可以缓存,或者,更多的内容可以缓存,
    那么我们应该可以很容易提高并发量。

    至于关键的数据,在客户端再异步请求获取。

    我不知道这个方案,是否可行。或者,是否值得
    fburst
        23
    fburst  
       2015-05-03 23:31:47 +08:00
    Varnish或squid做cdn也行。
    看具体系统吧。
    nginx proxy_cache速度应该会快一些。
    1989922yan
        24
    1989922yan  
    OP
       2015-05-06 10:38:06 +08:00
    @fburst

    = =,不是希望简单地让服务器做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器缓存
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3360 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 12:04 · PVG 20:04 · LAX 04:04 · JFK 07:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.