![banner](/_nuxt/img/banner.91daa59.gif)
用爬虫写一个 GitHub Trending API
发布时间:2018-07-04
github.png
这学期打算做一个关于 GitHub 的 Android 应用,其中一个模块就是查看 GitHub 当天,当周,当月的热门项目和开发者。其实 GitHub 给了开发者相当丰富的 API 接口 https://developer.github.com/v3/,包括认证,搜索,活动等接口,但就是没有提供获取 Trending 的接口。去 GitHub Trending 的主页看了一下,并看了其 html 代码,发现想要的东西都可以用爬虫爬去下来,于是就着手爬去信息。
以下所有请求都为get请求,请求主地址为https://trendings.herokuapp.com
获取热门项目
路径
/repo
参数
名称 | 类型 | 描述 |
---|---|---|
lang | 字符串 | 可选,热门项目的语言 |
since | 字符串 | 可选,get请求参数,无这参数则自动获取当天的热门项目,参数值只有三个,分别是daily,weekly,monthly。 |
例如请求 https://trendings.herokuapp.com/repo?lang=java&since=weekly
返回结果:
//status code: 201
{
"count": 25,
"msg": "done",
//项目集合
"items": [
{
//项目贡献者的头像地址集合
"avatars": [
"https://avatars0.githubusercontent.com/u/16903644?v=3&s=40",
"https://avatars2.githubusercontent.com/u/8622362?v=3&s=40",
"https://avatars0.githubusercontent.com/u/10773353?v=3&s=40",
"https://avatars3.githubusercontent.com/u/6392550?v=3&s=40",
"https://avatars1.githubusercontent.com/u/3837836?v=3&s=40"
],
//项目的地址
"repo_link": "https://github.com/kdn251/interviews",
//项目描述
"desc": "Everything you need to know to get the job.",
//项目仓库
"repo": "kdn251/interviews",
//目前为止的的stars数
"stars": "5,772",
//目前为止的forks数
"forks": "539",
//项目所属语言
"lang": "Java",
//今天或者这周或者这个月的starts数
"added_stars": "4,591 stars this week"
},
.
.
.
]
}
获取热门开发者
路径
/developer
参数
名称 | 类型 | 描述 |
---|---|---|
lang | 字符串 | 可选,热门开发者使用的主要语言 |
since | 字符串 | 可选,get请求参数,无这参数则自动获取当天的热门开发者,参数值只有三个,分别是daily,weekly,monthly。 |
请求 https://trendings.herokuapp.com/developer?lang=java&since=weekly
返回结果:
//status code: 201
{
"count": 25,
"msg": "done",
//开发者集合
"items": [
{
//开发者在GitHub上的用户名
"user": "google",
//开发者在GitHub上的主页链接
"user_link": "https://github.com/google",
//开发者的全名
"full_name": "(Google)",
// 开发者的头像地址
"developer_avatar": "https://avatars1.githubusercontent.com/u/1342004?v=3&s=96"
},
.
.
.
]
}
获 取GitHub 上的所有 trending 语言。
请求地址:https://trendings.herokuapp.com/lang
返回结果:
//status code: 201
{
"count": 464,
"items": [
"1C-Enterprise",
"ABAP",
"ABNF",
"ActionScript",
"Ada",
.
.
.
"YANG",
"Zephir",
"Zimpl"
],
"msg": "suc"
}
异常
有时候去访问 GitHub 的 trending 时,会找不到热门项目或者开发者的,这时就会返回如下的 JSON:
//status code: 404
{
"msg": "Unavialiable.",
"count":0,
"items": []
}
维护
若某个接口无法调用,请通过简信或者邮箱 doforce@126.com
与我取得联系,我会尽快修复问题。
GitHub项目地址
热门文章
行业早报2019-01-15nginx+php 开启PHP错误日志
行业早报2019-01-15为什么你说了很多遍,对方还是不听? 2018-09-25
行业早报2019-01-15【Ruby on Rails实战】3.1 宠物之家论坛管理系统介绍
行业早报2019-01-15从凡人到筑基期的单片机学习之路
行业早报2019-01-15jmeter单台大数量并发
行业早报2019-01-15Go在Windows下开发环境搭建
行业早报2019-01-15ES-科普知识篇
行业早报2019-01-15Hbase 之 由 Zookeeper Session Expired 引发的 HBASE 思考
行业早报2019-01-15谷歌大脑专家详解:深度学习可以促成哪些产品突破?
行业早报2019-01-15EventLoop
相关推荐