我将通过这篇著作胪陈一下奈何用Swift搭建一个HTTP代理管事器。本文将使用Hummingbird[1]看成管事端的基本HTTP框架蓝色柠檬导航,以及使用AsyncHTTPClient[2]看成Swift的HTTP客户端来恳求指标管事。
什么是代理管事器代理管事器是一个搭载在客户端和另一个管事端(后头咱们成为指标管事端)的中间管事器,它从客户端转发音信到指标管事端,何况从指标管事端取得反应信息传回给客户端。在转发音信之前,它不错以某种口头处理这些音信,一样,它也不错处理复返的反应。
让咱们试着构建一个在本文中,咱们将构建一个只将HTTP数据包转发到指标管事的代理管事器。您不错在这里找到本文的示例代码。
创建容貌咱们使用Hummingbird模板容貌[3] 当前最低版块适配 Swift5.5 看成咱们管事的启动模板。读者不错继承clone这个存储库,或者径直点击Github容貌主页上use this template按钮来创建咱们我方的存储库。用这个模板容貌创建一个管事端何况启动它,不错使用一些抵制台选项和文献来确立咱们的利用。详见here[4]
加多 AsyncHTTPClient咱们将把AsyncHTTPClient看成依赖加入Package.swift以便咱们后头来使用
dependencies: 蓝色柠檬导航[ ... .package(url: "https://github.com/swift-server/async-http-client.git", from: "1.6.0"), ],
然后在指标依赖也添加一下
targets: [ .executableTarget(name: "App", dependencies: [ ... .product(name: "AsyncHTTPClient", package: "async-http-client"), ],
咱们将把HTTPClient看成HBApplicatipn的推广。这么随意咱们照看HTTPClient的人命周期以及在HTTPClient删除前调用syncShutdown秩序。
extension HBApplication { var httpClient: HTTPClient { get { self.extensions.get(\.httpClient) } set { self.extensions.set(\.httpClient, value: newValue) { httpClient in try httpClient.syncShutdown() }} } }
当HBApplication关闭时辰会调用set内部的闭包。这意味着咱们当咱们援用了HBApplication,即使不使用HTTPClient,咱们也有权限去调用它
加多 middleware[中间件]咱们将把咱们的代理管事器看成中间件。中间件将取得一个恳求,然后将它发送到指标管事器何况从指标管事器取得反应信息。底下使咱们启动版块的中间件,它需要HTTPClient和指标管事器的URL两个参数。
struct HBProxyServerMiddleware: HBMiddleware { let httpClient: HTTPClient let target: String func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { return httpClient.execute( request: request, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) } }
当今咱们有了HTTPClient和HBProxyServerMiddleware中间件,咱们将它们加入确立文献HBApplication.configure。然后勾引咱们代理管事地址为http://httpbin.org
func configure(_ args: AppArguments) throws { self.httpClient = HTTPClient(eventLoopGroupProvider: .shared(self.eventLoopGroup)) self.middleware.add(HBProxyServerMiddleware(httpClient: self.httpClient, target: "http://httpbin.org")) }
调度类型
当咱们完成上头的法子,构建会裸露失败。因为咱们还需要调度Hummingbird和AsyncHTTPClient之间的请乞降反应类型。同期咱们需要归并指标管事的URL到恳求里。
恳求调度为了将Hummingbird HBRequest革新为AsyncHTTPClient HTTPClient.Request,
原因: 咱们率先需要整理可能仍在加载的HBRequest的body信息,调度经由是异步的
惩办有打算:是以它需要复返一个包含后头调度终结的EventLoopFuture,让咱们将调度函数放到HBRequest内部
extension HBRequest { func ahcRequest(host: String) -> EventLoopFuture<HTTPClient.Request> { // consume request body and then construct AHC Request once we have the // result. The URL for the request is the target server plus the URI from // the `HBRequest`. return self.body.consumeBody(on: self.eventLoop).flatMapThrowing { buffer in return try HTTPClient.Request( url: host + self.uri.description, method: self.method, headers: self.headers, body: buffer.map { .byteBuffer($0) } ) } } }
反应信息装换
从HTTPClient.Response到HBResponse的调度十分随意
extension HTTPClient.Response { var hbResponse: HBResponse { return .init( status: self.status, headers: self.headers, body: self.body.map { HBResponseBody.byteBuffer($0) } ?? .empty ) } }
咱们当今将这两个调度法子加入HBProxyServerMiddleware的apply函数中。同期加入一些日记打印信息
func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { // log request request.logger.info("Forwarding \(request.uri.path)") // convert to HTTPClient.Request, execute, convert to HBResponse return request.ahcRequest(host: target).flatMap { ahcRequest in httpClient.execute( request: ahcRequest, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) }.map { response in return response.hbResponse } }
当今应该不错普通编译了。中间件将整理HBRequest的恳求体,将它革新为HTTPRequest.Request,然后使用HTTPClient将恳求转发给指标管事器。取得的反应信息会革新为HBResponse复返给利用。
运行利用,掀开网页掀开localhost:8080。咱们应该能看到咱们之前勾引代理的httpbin.org网页信息
Streaming[流]上头的勾引不是相配理思。它会恭候请务实足加载,然后才将恳求转发给指标管事端。同理反应转发亦然需要恭候反应实足加载后才会转发。这裁减了音信发送的成果,一样会导致恳求占用深广内存或者反应信息很大。
咱们不错通过流式传输请乞降反应负载来校正这小数。一朝咱们有了它的头部,就脱手将恳求发送到指标管事,并在接受到主体部分时对其进行流式处理。肖似地,一朝咱们有了它的头,在另一个标的脱手发送反应。打消对齐全恳求或反应的恭候将提升代理管事器的性能。
淌若客户端和代理之间的通讯以及代理和指标管事之间的通讯以不同的速率运行,柬埔寨修车群咱们仍然会碰到内存问题。淌若咱们接受数据的速率比处理数据的速率快,数据就会脱手备份。为了幸免这种情况发生,咱们需要好像施加背压以罢手读取格外的数据,直到咱们处理了饱和多的内存中的数据。有了这个,咱们不错将代理使用的内存量保抓在最低适度。
流式恳求流式传输恳求负载是一个十分随意的经由。实践上,它简化了构造 HTTPClient.Request 的经由因为咱们不需要恭候请务实足加载。咱们奈何构造 HTTPClient.Request 主体将基于齐全的 HBRequest 是否依然在内存中。淌若咱们复返流恳求,则会自动利用背压,因为 Hummingbird 管事器框架会为咱们实践此操作。
func ahcRequest(host: String, eventLoop: EventLoop) throws -> HTTPClient.Request { let body: HTTPClient.Body? switch self.body { case .byteBuffer(let buffer): body = buffer.map { .byteBuffer($0) } case .stream(let stream): body = .stream { writer in // as we consume buffers from `HBRequest` we write them to // the `HTTPClient.Request`. return stream.consumeAll(on: eventLoop) { byteBuffer in writer.write(.byteBuffer(byteBuffer)) } } } return try HTTPClient.Request( url: host + self.uri.description, method: self.method, headers: self.headers, body: body ) }
流式反应
流式反应需要一个解任 HTTPClientResponseDelegate 的class. 这将在 HTTPClient 反应可用时立即从反应中接受数据。反应正文是 ByteBuffers 体式. 咱们不错将这些 ByteBuffers 提供给 HBByteBufferStreamer. 咱们陈说的 HBResponse 是由这些流构造,而不是静态的 ByteBuffer。
淌若咱们将恳求流与反应流代码连合起来,咱们的最终的 apply 函数应该是这么的
func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { do { request.logger.info("Forwarding \(request.uri.path)") // create request let ahcRequest = try request.ahcRequest(host: target, eventLoop: request.eventLoop) // create response body streamer. maxSize is the maximum size of object it can process // maxStreamingBufferSize is the maximum size of data the streamer is allowed to have // in memory at any one time let streamer = HBByteBufferStreamer(eventLoop: request.eventLoop, maxSize: 2048*1024, maxStreamingBufferSize: 128*1024) // HTTPClientResponseDelegate for streaming bytebuffers from AsyncHTTPClient let delegate = StreamingResponseDelegate(on: request.eventLoop, streamer: streamer) // execute request _ = httpClient.execute( request: ahcRequest, delegate: delegate, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) // when delegate receives head then signal completion return delegate.responsePromise.futureResult } catch { return request.failure(error) } }
你会崇拜到在上头的代码中咱们不恭候httpClient.execute. 这是因为淌若咱们这么作念了,该函数将在连接之前恭候统共反应主体在内存中。咱们但愿立即处理反应,因此咱们向委派添加了一个promise: 一朝咱们收到头部信息,就和会过保存头部细则和流到HBResponse来罢了。EventLoopFuture这个 promise的是咱们从apply函数传回的。
我莫得在StreamingResponseDelegate这里包含代码,但您不错在齐全的示例代码中[5]找到它。
示例代码添加该示例代码[6]可能在上头的基础上作念了部分修改。
默许绑定地址端口是 8081 而不是 8080。大多数 Hummingbird 示例在 8080 上运行,因此要在这些示例支配使用代理,它需要绑定到不同的端口。 我添加了一个位置选项,它允许咱们只转发来自特定基本 URL 的恳求 我为指标和位置添加了敕令行选项,因此不错在不重建利用尺度的情况下改动这些选项 我删除了 host 标题或恳求,以便不错用正确的值填写 淌若提供了 content-length 标头,则在调度流恳求时,我将其传递给 HTTPClient 流送器,以确保 content-length 为指标管事器的恳求正确勾引标头。 备择有打算咱们不错使用 HummingbirdCore 代替 Hummingbird 看成代理管事器。这将提供一些格外的性能,因为它会删除格外的代码层,但会焚烧纯真性。添加任何格外的路由或中间件需要作念更多的使命。我有只使用HummingbirdCore代理管事器的示例代码在这里[7]。
虽然,另一种继承是使用 Vapor。我思在 Vapor 中的罢了看起来与上头形容的相配相似,应该不会太难。不外我会把它留给别东说念主。
参考贵寓[1]Hummingbird: https://github.com/hummingbird-project/hummingbird
[2]AsyncHTTPClient: https://github.com/swift-server/async-http-client
[3]Hummingbird模板容貌: https://github.com/hummingbird-project/template
[4]here: https://opticalaberration.com/2021/12/hummingbird-template.html
[5]示例代码中: https://github.com/hummingbird-project/hummingbird-examples/blob/main/proxy-server/Sources/App/Middleware/StreamingResponseDelegate.swift
[6]示例代码: https://github.com/hummingbird-project/hummingbird-examples/tree/main/proxy-server
[7]在这里: https://github.com/hummingbird-project/hummingbird-examples/tree/main/proxy-server-core