PlayScala 2.5.x - 实现完全异步非阻塞的流数据导出

December 17, 2023
测试
测试
测试
测试
3 分钟阅读

介绍

从Play2.5.x开始,Play使用Akka Streams实现流处理,废弃了之前的Enumerator/Iteratee Api。根据官方文档描述,迁移至Akka Streams之后,Play2.5.x的整体性能提升了20%,性能提升相当可观。虽然官方已经更新了JavaStream的文档,但是ScalaStream的文档仍然没有更新,已经提了issue,希望能尽快得到反馈。 ReactiveMongo是一个基于Scala开发的完全异步非阻塞、并且提供流处理功能的MongoDB驱动。该项目目前的流处理功能基于Enumerator/Iteratee实现,Akka Stream的实现放在一个单独的项目开发(RM-AkkaStreams)。 结合Play和ReactiveMongo二者的流处理功能,我们可以很方便地实现完全异步非阻塞的报表导出功能。

实现

由于ReactiveMongo暂时还没有提供Akka Streams的流处理实现,所以无法直接通过map/flatMap直接返回一个Stream写回响应:

@Singleton
class TestStreamController @Inject()(val reactiveMongoApi: ReactiveMongoApi, implicit val mat: Materializer) extends Controller {
  def qaCol: JSONCollection = reactiveMongoApi.db.collection[JSONCollection]("qa")
  def exportDataStream = Action { implicit request =>
    val source = Source.actorRef[ByteString](10000, OverflowStrategy.fail).mapMaterializedValue { sourceActor =>
      qaCol
        .find(Json.obj())
        .options(QueryOpts(batchSizeN = 1000))
        .cursor[QA]()
        .foldBulks[Int](0){ (index, list) =>
          sourceActor ! ByteString(list.map(qa => qa.question).mkString("\n") + "\n")
          Cursor.Cont(index + 1)
        }
        .map{ _ =>
          sourceActor ! akka.actor.Status.Success(())
        }
    }

    Ok.chunked(source)
      .withHeaders(
      "Content-Type" -> "application/octet-stream",
      "Content-Disposition" -> (s"attachment;filename=export-" + new DateTime().toString("yyyy-MM-dd") + ".txt"))
  }
}

代码第5行Source.actorRef函数启动一个actor实例sourceActor负责收集报表数据,Source.actorRef的第1个参数bufferSize用于指定缓冲区大小,即Play来不及写回响应的数据暂时放在缓冲区,第2个参数overflowStrategy指定缓冲区溢出后的处理策略。 第10行foldBulks方法负责批量从MongoDB数据库读取查询结果,然后以消息形式将数据发送给sourceActor,最后发送一个Status.Success消息表明数据已经发送完毕。 数据传递过程如下:

foldBulks(读取查询结果) -> sourceActor(收集查询结果) -> source(生产者) -> Ok.chunked(消费者)

下面是浏览器中看到的效果:

输入图片说明
输入图片说明

图中499KB/s表示当前的下载速度,997KB表示当前累计的下载大小。

继续阅读

更多来自我们博客的帖子

如何安装 BuddyPress
由 测试 December 17, 2023
经过差不多一年的开发,BuddyPress 这个基于 WordPress Mu 的 SNS 插件正式版终于发布了。BuddyPress...
阅读更多
Filter如何工作
由 测试 December 17, 2023
在 web.xml...
阅读更多
如何理解CGAffineTransform
由 测试 December 17, 2023
CGAffineTransform A structure for holding an affine transformation matrix. ...
阅读更多