使用Go中的Apache Arrow对事件进行时间间隔分区处理

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是Golang学习者，那么本文《使用Go中的Apache Arrow对事件进行时间间隔分区处理》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

我正在尝试根据时间间隔拆分从 kafka 收集的一些事件。基本上，目标是读取 datetime 列中的值，运行一个简单的公式来检查当前事件是否落在当前 interval 内。如果是，则将该事件附加到 recordbuilder，否则将 flush 事件组（segment）附加到 parquet 文件。

这是我到目前为止的代码：

type Segment struct {
    mu             sync.Mutex
    schema         *arrow.Schema
    evtStruct      *arrow.StructType
    builder        *array.RecordBuilder
    writer         *pqarrow.FileWriter
    timestampIndex int
}

func NewSegment(dir string, datetimeFieldName string, schema *arrow.Schema) (*Segment, error) {
        // other inits here
        // ...

    // create a parquet file
    pFile, err := os.Create(fileName)
    if err != nil {
        return nil, err
    }
    w, err := pqarrow.NewFileWriter(schema, pFile, props, pqarrow.DefaultWriterProps())
    if err != nil {
        panic(err)
    }

    // create the new record builder for inserting data to arrow
    mem := memory.NewCheckedAllocator(memory.NewGoAllocator())
    b := array.NewRecordBuilder(mem, schema)

    evtStruct := arrow.StructOf(schema.Fields()...)
    idx, ok := evtStruct.FieldIdx(datetimeFieldName)
    if !ok {
        return nil, fmt.Errorf("couldn't find datetime column")
    }

    return &Segment{
        schema:         schema,
        evtStruct:      evtStruct,
        mu:             sync.Mutex{},
        builder:        b,
        writer:         w,
        timestampIndex: idx,
    }, nil
}

// data comes from Kafka and it represent a single event
func (s *Segment) InsertData(data []byte) error {
    s.mu.Lock()
    defer s.mu.Unlock()

        // TODO: do partition by interval here
        // extract the datetime value --> dtVal (unix epoch)
        // assume for now an interval of 5 minutes
        // dtPartition = math.floor(dtVal, 5*60)
        /* if dtPartition > oldDtPartition {
                return s.Flush()
           }
        */

        // append the data to the current builder
    if err := s.builder.UnmarshalJSON(data); err != nil {
        return err
    }

    return nil
}

// Flush persist the segment on disk
func (s *Segment) Flush() error {
    s.mu.Lock()
    defer s.mu.Unlock()

    rec := s.builder.NewRecord()

    // closable
    defer s.builder.Release()
    defer s.writer.Close()
    defer rec.Release()

    // write parquet file
    if err := s.writer.WriteBuffered(rec); err != nil {
        return err
    }

    return nil
}

问题是我无法对 "unmarshal" data 函数的 insertdata 输入参数进行解组，因为没有可以解组的 "struct" 。我能够创建 arrow.schema 和 arrow.structtype 因为我正在制作的服务允许用户定义事件的架构。因此，我试图找到一种方法来读取事件中的 datetime 值，并确定 interval 属于哪个。

在函数 insertdata 中，我添加了一些我想要实现的愚蠢的伪代码。也许 apache arrow 有一些功能可以帮助我完成我想做的事情。预先感谢您。

正确答案

如果您可以这样做：s.builder.unmarshaljson(data)，则 data 是一个 json 值。您可以使用 fmt.printf("%s", data) 打印 data 来确认。

如果您确定每个事件都包含 datetime 列，那么您可以定义一个这样的结构，以便可以将 data 解组到其中：

type event struct {
    datetime int64 `json:"datetime"`
}

这是一个小演示：

package main

import (
    "encoding/json"
    "fmt"
)

func getDatatime(data []byte) (int64, error) {
    var e struct {
        Datetime int64 `json:"datetime"`
    }
    if err := json.Unmarshal(data, &e); err != nil {
        return 0, err
    }

    return e.Datetime, nil
}

func main() {
    data := []byte(`{"datetime": 1685861011, "region": "NY", "model": "3", "sales": 742.0, "extra": 1234}`)

    fmt.Println(getDatatime(data))
}

到这里，我们也就讲完了《使用Go中的Apache Arrow对事件进行时间间隔分区处理》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！