V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
waruqi
V2EX  ›  C

TBOX v1.5.0 发布,轻量级跨平台开发库

  •  5
     
  •   waruqi · 2015-10-23 14:47:49 +08:00 · 2076 次点击
    这是一个创建于 3355 天前的主题,其中的信息可能已经有所发展或是发生改变。

    更新

    1. 重建整个编译架构,采用xmake跨平台自动构建工具进行构建。。
    2. 优化.pkg 的依赖包机制,支持依赖库和接口的自动检测,针对 libc 、 libm 优先使用自动检测到的系统库接口实现,如果当前平台没有实现则使用 tbox 的自己实现版本,使得最大化性能和跨平台性。。
    3. 修复 strlcpy 等一些 libc 接口的实现 bug
    4. 增加跨平台环境变量操作接口
    5. 完善和优化路径操作,增加相对路径、绝对路径的相互转换

    简介

    TBOX 是一个用 c 语言实现的多平台开发库,支持 windows 、 linux 、 mac 、 ios 、 android 以及其他嵌入式系统。

    针对各个平台,封装了统一的接口,简化了各类开发过程中常用操作,使你在开发过程中,更加关注实际应用的开发,而不是把时间浪费在琐碎的接口兼容性上面,并且充分利用了各个平台独有的一些特性进行优化。

    流库

    针对 http 、 file 、 socket 、 data 等流数据,实现统一接口进行读写,并且支持: 阻塞、非阻塞、异步 三种读写模式。
    支持中间增加多层 filter 流进行流过滤,实现边读取,内部边进行解压、编码转换、加密等操作,极大的减少了内存使用。

    主要提供以下特性:

    1. stream :通用非阻塞流,用于一般的单独 io 处理。
    2. async_stream :利用 asio 实现的纯异步流,基于回调模式,可同时处理大量并发 io 。
    3. transfer :传输器,维护两路流的传输,对 async_stream 的使用进行更上层的封装,用其可以很方便的实现下载、上传、复制等 io 传输操作。
    4. transfer_pool :传输池,基于 asio ,维护大量并发的传输,可以用于实现爬虫、批量下载等等。
    5. static_stream :针对静态数据 buffer 优化的静态流,用于轻量快速的数据解析。

    asio 库

    1. 支持 reactor 和 proactor 两种模型,针对不同平台,采用 epoll/poll/select/kqueue/iocp 接口,最大化异步操作的性能。
    2. 并且对 http 、 ssl 、 dns 也提供了纯异步模式的实现。基于此库完全可以很方便的写出一个高性能的小型服务器。

    数据库

    1. 统一并简化数据库操作接口,适配各种数据源,通过统一的 url 来自动连接打开支持的数据库,数据的枚举采用迭代器模型。
    2. 目前支持 sqlite3 以及 mysql 两种关系型数据库,也可自定义扩展使用其他关系型数据库。

    xml 库

    1. 针对 xml 提供 DOM 和 SAX 两种解析模式, SAX 方式采用外部迭代模式,灵活性和性能更高,并且可以选择指定路径,进行解析。
    2. 解析过程完全基于 stream ,所以是高度流化的,可以实现边下载、边解压、边转码、边解析一条龙服务,使用较低的内存也可以解析大规模数据。
    3. 提供 xml writer 以支持对 xml 生成

    内存库

    1. 参考 linux 内核内存管理机制的实现,并对其进行各种改造和优化,所实现的 TBOX 独有的一整套内存池管理架构。
    2. 调试模式下,可以轻松检测并定位内存泄露、内存越界溢出、内存重叠覆盖等常见内存问题,并对整体内存的使用进行了统计和简要分析。
    3. 针对大块数据、小块数据、字符串数据进行了充分的利用,避免了大量外部碎片和内部碎片的产生。分配操作进行了各种优化, 96%的情况下,效率都是在 O(1)。

    容器库

    1. 提供哈希、链表、数组、队列、堆栈、最小最大堆等常用容器。
    2. 支持各种常用成员类型,在原有的容器期初上,其成员类型还可以完全自定义扩展。
    3. 所有容器都支持迭代器操作。
    4. 大部分容器都可以支持基于 stream 的序列化和反序列化操作。

    算法库

    1. 提供各种排序算法:冒泡排序、堆排序、快速排序、插入排序。
    2. 提供各种查找算法:线性遍历、二分法搜索。
    3. 提供各种遍历、删除、统计算法。
    4. 以迭代器为接口,实现算法和容器的分离,类似 stl ,但是 c 实现的,更加轻量。

    网络库

    1. 实现 http 、 cookies 、 dns 解析与缓存、 ipv4 、 url 的封装。

    数学运算库

    1. 提供各种精度的定点运算支持
    2. 提供随机数生成器

    libc 库

    1. libc 的一个轻量级实现,完全跨平台,并且针对不同架构进行了优化。
    2. 支持大部分字符串、宽字符串操作。
    3. 扩展字符串、宽字符串的各种大小写不敏感操作接口
    4. 扩展 memset_u16 、 memset_u32 等接口,并对其进行高度优化,尤其适合图形渲染程序

    libm 库

    1. libm 部分接口的一个轻量级实现,以及对常用系统接口的封装。(目前只实现了部分,之后有时间会完全实现掉)
    2. 扩展部分常用接口,增加对 sqrt 、 log2 等常用函数的整数版本计算,进行高度优化,不涉及浮点运算,适合嵌入式环境使用。

    object 库

    1. 轻量级类 apple 的 CoreFoundation 库,支持 object 、 dictionary 、 array 、 string 、 number 、 date 、 data 等常用对象,并且可以方便扩展自定义对象的序列化。
    2. 支持对 xml 、 json 、 binary 以及 apple 的 plist(xplist/bplist)格式序列化和反序列化。 并且实现自有的 binary 序列化格式, 针对明文进行了简单的加密,在不影响性能的前提下,序列化后的大小比 bplist 节省 30%。

    平台库

    1. 提供 file 、 directory 、 socket 、 thread 、 time 等常用系统接口
    2. 提供 atomic 、 atomic64 接口
    3. 提供高精度、低精度定时器
    4. 提供高性能的线程池操作
    5. 提供 event 、 mutex 、 semaphore 、 spinlock 等事件、互斥、信号量、自旋锁操作
    6. 提供获取函数堆栈信息的接口,方便调试和错误定位
    7. 提供跨平台动态库加载接口(如果系统支持的话)

    压缩库

    1. 支持 zlib/zlibraw/gzip 的压缩与解压(需要第三方 zlib 库支持)。

    字符编码库

    1. 支持 utf8 、 utf16 、 gbk 、 gb2312 、 uc2 、 uc4 之间的互相转码,并且支持大小端格式。

    实用工具库

    1. 提供 base64/32 编解码、 crc32 、 md5 、 sha 等 hash 算法、日志输出、断言、 url 编解码
    27 条回复    2015-10-24 13:31:52 +08:00
    fengjianxinghun
        1
    fengjianxinghun  
       2015-10-23 15:11:04 +08:00
    强悍!!
    vitovan
        2
    vitovan  
       2015-10-23 15:12:29 +08:00
    很好奇你司是做甚的。
    vitovan
        3
    vitovan  
       2015-10-23 15:12:55 +08:00
    不明觉厉。
    yuankui
        4
    yuankui  
       2015-10-23 16:36:06 +08:00
    还以为是某某电视盒子...
    exch4nge
        5
    exch4nge  
       2015-10-23 16:43:56 +08:00
    去简单看了下,还没用过。但目前来看,整个库的工作量相当的惊人!提供了各式各样的工作中常用到的功能库,对流操作接口的封装很棒,还有各种异步支持,生成的 API 文档也很详细,我看是楼主好几年的积累;楼主还自行开发了一个跨平台的 xmake 工具,真是佩服楼主!

    请教下楼主是用什么样的动力坚持开发此库的?
    gamecreating
        6
    gamecreating  
       2015-10-23 16:46:24 +08:00
    楼主还自行开发了一个跨平台的 xmake 工具,真是佩服楼主!
    noli
        7
    noli  
       2015-10-23 16:58:56 +08:00
    楼主和我一样有重新把底层干一遍的爱好!不过你的成绩已经比我的大得多,佩服佩服
    JiaFeiX
        8
    JiaFeiX  
       2015-10-23 17:06:58 +08:00
    强大,感谢楼主!
    ljbha007
        9
    ljbha007  
       2015-10-23 20:35:32 +08:00
    这应该是至少 10 年的代码积累和整理 楼主太牛了
    HentaiMew
        10
    HentaiMew  
       2015-10-23 20:49:34 +08:00
    这些真的是你一个人的力量做的吗... 上千次提交 。。真是逆天了
    yuuko
        11
    yuuko  
       2015-10-23 21:15:47 +08:00
    给跪了
    loqixh
        12
    loqixh  
       2015-10-23 21:26:18 +08:00
    把 Boost Software License 改成 LGPL v2.1 真的好么?
    jukka
        13
    jukka  
       2015-10-23 21:38:29 +08:00
    很好奇把这些都整合起来,到底要做什么项目呢。
    加个图形引擎好像就能做游戏了。
    xiazi
        14
    xiazi  
       2015-10-23 22:25:33 +08:00
    编译 tbox 出错. 环境:windows7, msvc2015, xmake(自己修改了下, 加了 2015 支持)

    D:\tbox>xmake
    compiling.r src\tbox\tbox.c
    'xmake' 不是内部或外部命令,也不是可运行的程序
    或批处理文件。
    NMAKE : fatal error U1077: 'xmake' : return code '0x1'
    Stop.

    error: build target: all failed!
    xiazi
        15
    xiazi  
       2015-10-23 22:40:11 +08:00
    上面出错的原因, 补充下:
    好像是 xmake 安装目录中有空格造成的, 比如默认的:c:\Program Files\xmake
    xiazi
        16
    xiazi  
       2015-10-23 22:55:05 +08:00
    还是无法编译, 错误如下:

    D:\tbox>xmake
    compiling.r src\tbox\tbox.c
    NMAKE : fatal error U1077: 'cl.exe' : return code '0x2'
    Stop.

    cl : Command line warning D9002 : ignoring unknown option '-arch:SSE3'
    cl : Command line warning D9002 : ignoring unknown option '-arch:SSSE3'
    cl : Command line warning D9002 : ignoring unknown option '-arch:MMX'
    tbox.c
    d:\tbox\src\tbox\asio\aice.h(446): error C2220: warning treated as error - no 'o
    bject' file generated
    d:\tbox\src\tbox\asio\aice.h(446): warning C4359: '__tb_aice_t::<unnamed-tag>':
    Alignment specifier is less than actual alignment (8), and will be ignored.
    error: build target: all failed!
    onemoo
        17
    onemoo  
       2015-10-23 22:56:40 +08:00
    @jukka
    说到做游戏。
    我看到 LZ 的 repo 中还有这个项目 https://github.com/waruqi/gbox
    AZLisme
        18
    AZLisme  
       2015-10-23 22:57:33 +08:00
    真是相当的强大啊!!!
    matsuijurina
        19
    matsuijurina  
       2015-10-24 00:00:40 +08:00 via iPad
    偶尔会有想把这些轮子造一遍的冲动,但也只是想想而已,没想到真有人这么做了。楼主你就是金轮法王!
    waruqi
        20
    waruqi  
    OP
       2015-10-24 12:07:50 +08:00
    @exch4nge 日积月累嘛,用于方便自己开发的。。我的大部分其他项目都会用到 tbox 和 xmake 来提高开发效率。。
    waruqi
        21
    waruqi  
    OP
       2015-10-24 12:08:24 +08:00
    @HentaiMew 都是一个人开发的。。
    waruqi
        22
    waruqi  
    OP
       2015-10-24 12:11:15 +08:00
    @jukka 这个我也有开发,另一个图形引擎项目 gbox , 不过还不能实际使用(属于版开发阶段),暂时只能做到 2d 矢量渲染(基于 gl/shader 和纯算法渲染)。。后期会完善并且开发上层 ui 库。。不过可以给你们做些参考: https://github.com/waruqi/gbox
    waruqi
        23
    waruqi  
    OP
       2015-10-24 12:13:17 +08:00
    @xiazi 感谢。。我后期会修复下。。当然也欢迎大家直接提交修复代码哈。。: )
    waruqi
        24
    waruqi  
    OP
       2015-10-24 12:16:08 +08:00
    @onemoo 这个目前暂时还属于 2d 的矢量渲染引擎,后期目标会做成游戏+ui 的底层图形引擎,但是最近时间少,属于半开发状态,还不能实际使用,不过里面的代码可以参考下,里面还有一套不错的 mesh 框架,以及超级高效的复杂多边形分割算法。。
    waruqi
        25
    waruqi  
    OP
       2015-10-24 12:20:56 +08:00
    @xiazi 这个编译错误,可能是因为我的 tbox 项目,默认编译的警告级别设置的有点高,出现警告就当错误处理了,你可以暂时在 tbox/xmake.lua 中 最开头的 set_warnings("all", "error") 注视掉,或者改成 set_warnings("none") ,然后重新 xmake f; xmake -r 重新编译下试试。。
    jukka
        26
    jukka  
       2015-10-24 12:47:18 +08:00 via iPhone
    Pure C 可以非常方便的 bind 到其他语言,这个是亮点。感觉内存管理那里 允许用户侵入式的管理内存 更 cool 一点 0 0
    waruqi
        27
    waruqi  
    OP
       2015-10-24 13:31:52 +08:00
    @jukka 感谢,后续会考虑加入相关接口来支持: 用户自定义内存管理来接管。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2622 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:02 · PVG 15:02 · LAX 23:02 · JFK 02:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.