「开源软件供应链点亮计划——暑期 2021」USTCLUG 项目提案

「开源软件供应链点亮计划」是由中国科学院软件研究所发起并长期支持一项活动,旨在解决基础开源软件面临的许可、质量、维护和技术支持等问题,进而影响整个软件产业的供应链。而「开源软件供应链点亮计划——暑期 2021」是由中科院软件所与 openEuler 社区共同举办的一项面向高校学生的暑期活动,旨在鼓励在校学生积极参与开源软件的开发维护,促进国内优秀开源软件社区的蓬勃发展。

此活动与 GSoC (Google Summer of Code) 的模式类似:开源项目/社区提供项目需求与导师 (mentor);学生申请项目通过后利用暑期的时间进行开发,将成果贡献给社区;主办方(中科院软件所与 openEuler 社区)根据评估结果给学生发放奖金。所有参与的社区列表可查看 https://summer.iscas.ac.cn/#/org

今年夏天,USTCLUG (中科大学生 Linux 用户协会) 计划以社区身份加入此暑期活动。以下是我们计划的项目提案,也欢迎社团的各位同学提出建议。

在报名前,请先阅读由主办方提供的学生指南

通用反向代理缓存程序

项目描述:受到磁盘空间等的限制,镜像站有些时候无法完整同步上游的文件。退而求其次,能否只缓存“流行”的文件?能否在对缓存的总容量大小与文件过期时间进行限制的情况下管理缓存的文件?能否查看缓存命中率等指标,进行问题排查与优化?尽管现有的反向代理实现能够做到缓存,但是配置并不够灵活,无法满足需求。本项目计划构建一个灵活的、适用于镜像站场景的通用的 HTTP 反向代理缓存程序,提高用户体验。

项目难度:中

LICENSE:自选开源协议。

项目社区导师:陶柯宇

导师联系方式:taoky AT ustclug.org

合作导师:明宇龙

联系方式:myl AT ustclug.org

项目产出要求:一个稳定的、经过测试可用的 HTTP 反向代理缓存程序(缓存得到的文件存储在传统文件系统上),包括以下要求:

  • 包含对缓存总大小与文件过期时间限制的缓存规则实现。
    • 能够定时或实时清理不符合缓存条件的文件。
  • 用户可编写配置文件,针对符合不同规则的路径,配置不同的缓存规则。
  • 实现日志与用量统计。
  • 通过有效性测试,可正确对 pypi/conda 镜像设置反代。

项目技术要求:

  • 对 HTTP(S) 相关协议有基础了解。
  • 有高性能的网络编程语言的编程能力。
  • 有使用内存数据库的经验。

相关开源软件仓库列表:

Rsync 在传统文件系统架构上的性能改进

项目描述:Rsync 是镜像站上下游间进行同步的事实标准,但是由于每次同步时 rsync 服务器与客户端都需要扫描一遍本地的文件列表,即使只有少量的文件需要更新,每次同步仍然会带来很高的 I/O 消耗,大幅度提高了服务的负载,降低了服务性能。本项目计划通过修改 rsync 服务端与客户端的实现,在不大幅影响整体架构的情况下优化 rsync 对文件元数据的读写性能(读取为主),降低镜像站的负载,提升 rsync 同步速度与服务性能。

项目难度:高

LICENSE:自选开源协议。对 rsync 的修改需要以 GPL v3 发布。

项目社区导师:陶柯宇

导师联系方式:taoky AT ustclug.org

合作导师:明宇龙

联系方式:myl AT ustclug.org

项目产出要求:本项目包含对 rsync 服务端和客户端这两个部分进行改进的要求。以下要求作为参考,如果有更好的 idea 在讨论后也可实现。

  • Rsync 客户端
    • 修改 rsync 客户端,使其能够访问 rsync-huai 的元数据,以在同步时减小对主仓库的磁盘压力。
    • 修改 rsync 客户端,针对镜像站场景减少多余的本地读写,提高性能。
  • Rsync 服务端
    • 不修改服务端(rsync-huai)的源代码,而是使用 FUSE 设计高性能的、只存储文件元数据的文件系统存储文件元数据。例如,可以将元数据存储在内存数据库中,以减小 rsync-huai 在获取文件元数据时对磁盘的压力。
    • 或者,修改服务端代码,使其可以绕过 kernel (FUSE) 直接连接相关数据库读取元信息。

项目技术要求:

  • 有 rsync 的使用经验。
  • C 语言编程能力,以及其他系统开发语言(如 C++, Go, Rust 等)的编程能力。
  • 有 FUSE 的编程经验。

相关开源软件仓库列表:

更新时间: