まず初めにDockerfile、docker-compose.yaml、.dockerignoreを作成していきます。docker init コマンドを実行すると順番に以下の選択・入力を求められるので、聞かれるままに答えていくと自動的にDockerfileなどが生成されます。（<a style="background-color:#ffffff" href="https://yoku-tech-blog.microcms.io/apis/articles/%E5%85%AC%E5%BC%8F%E3%81%AE%E3%83%96%E3%83%AD%E3%82%B0" target="_blank" rel="noopener noreferrer">公式のブログ</a>） <ul><li>使用言語</li><li>バージョン</li><li>メインパッケージの相対ディレクトリ</li><li>サーバーのリッスンポート</li></ul> <pre><code>$ docker init

Welcome to the Docker Init CLI!

This utility will walk you through creating the following files with sensible defaults for your project:
&nbsp;- .dockerignore
&nbsp;- Dockerfile
&nbsp;- docker-compose.yaml

Let's get started!

? What application platform does your project use? Go
? What version of Go do you want to use? 1.18
? What's the relative directory (with a leading .) of your main package? .
? What port does your server listen on? 8080

CREATED: .dockerignore
CREATED: Dockerfile
CREATED: docker-compose.yaml

✔ Your Docker files are ready!

Take a moment to review them and tailor them to your application.

When you're ready, start your application by running: docker compose up --build -d

Your application will be available at http://localhost:8080

To stop your application, run: docker compose down</code></pre>

1. docker init でファイルを自動生成する

次に go mod init コマンドを実行してGoモジュールを初期化します。helloworldの部分はプロジェクト名なので何でも良いです。<code>$ go mod init helloworld</code>このコマンドを実行するとgo.modが生成されます。

2. go mod init で新しいGoモジュールを初期化する

go.modが作成できたら、go get コマンドを実行してGinをインストールします。<code>$ go get -u github.com/gin-gonic/gin</code>このコマンドを実行するとgo.modが変更され、go.sumが生成されます。

3. go get でGinをインストールする

最後に main.go を作成し、以下のコードをコピペします。内容としては <code>/hellowworld</code> に向けてGETすると Hello World! が返ってくるという簡単な内容です。<pre><code>package main

import (
	"net/http"
	"github.com/gin-gonic/gin"
)

func main() {
	r := gin.Default()
	r.GET("/helloworld", func(ctx *gin.Context) {
		ctx.JSON(http.StatusOK, gin.H{
			"message": "Hello World!",
		})
	})
	r.Run()
}</code></pre> ここまで作成したら、プロジェクト内のファイルは以下のようになっているはずです。不足している場合は手順を戻って生成しましょう。<pre><code>.
├── Dockerfile
├── docker-compose.yaml
├── .dockerignore
├── go.mod
├── go.sum
└── main.go</code></pre>

4. main.goを用意する

<code>$ docker compose up --build</code> を実行します。<code>Listening and serving HTTP on :8080</code> と表示されたらOKです。<pre><code>&nbsp;✔ Container docker_init_test-server-1&nbsp;Recreated&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0.1s
Attaching to docker_init_test-server-1
docker_init_test-server-1&nbsp;| [GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.
docker_init_test-server-1&nbsp;|
docker_init_test-server-1&nbsp;| [GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
docker_init_test-server-1&nbsp;|&nbsp;- using env:&nbsp;&nbsp;&nbsp;export GIN_MODE=release
docker_init_test-server-1&nbsp;|&nbsp;- using code:&nbsp;&nbsp;&nbsp;gin.SetMode(gin.ReleaseMode)
docker_init_test-server-1&nbsp;|
docker_init_test-server-1&nbsp;| [GIN-debug] GET&nbsp;&nbsp;/helloworld&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;--&gt; main.main.func1 (3 handlers)
docker_init_test-server-1&nbsp;| [GIN-debug] [WARNING] You trusted all proxies, this is NOT safe. We recommend you to set a value.
docker_init_test-server-1&nbsp;| Please check https://pkg.go.dev/github.com/gin-gonic/gin#readme-don-t-trust-all-proxies for details.
docker_init_test-server-1&nbsp;| [GIN-debug] Environment variable PORT is undefined. Using port :8080 by default
docker_init_test-server-1&nbsp;| [GIN-debug] Listening and serving HTTP on :8080</code></pre>

5. docker compose up --build でコンテナをビルドして立ち上げる

サーバーが立ち上がったはずなのでリクエストを投げて確認してみましょう。curlコマンドを使って /helloworld に向けてGETリクエストを投げます。<code>$ curl http://localhost:8080/helloworld</code> 以下のようなレスポンスが返ってきていればOKです。<pre><code>&nbsp;% curl http://localhost:8080/helloworld
{"message":"Hello World!"}%</code></pre>

6. curlでレスポンスが返ってくるか確認

本題

エラー例）<pre><code>&nbsp;=&gt; ERROR [build 3/4] RUN --mount=type=cache,target=/go/pkg/mod/&nbsp;&nbsp;&nbsp;--mount=type=bind,source=go.sum,target=go.sum&nbsp;&nbsp;&nbsp;&nbsp;0.2s
------
&nbsp;&gt; [build 3/4] RUN --mount=type=cache,target=/go/pkg/mod/&nbsp;&nbsp;&nbsp;--mount=type=bind,source=go.sum,target=go.sum&nbsp;&nbsp;&nbsp;--mount=type=bind,source=go.mod,target=go.mod&nbsp;&nbsp;&nbsp;go mod download -x:
#0 0.205 go: errors parsing go.mod:
#0 0.205 /src/go.mod:3: invalid go version '1.21.3': must match format 1.23
------
failed to solve: executor failed running [/bin/sh -c go mod download -x]: exit code: 1</code></pre> こんなエラーが発生したら、go.modに記載されているgoのバージョンを <code>1.21.3</code> → <code>1.21</code> のように修正し、その後再度 <code>$ docker comose up --build</code> を実行します。 <pre><code>module helloworld

go 1.21.3 ←こいつを1.21に変更

require (
	github.com/bytedance/sonic v1.10.2 // indirect
	github.com/chenzhuoyu/base64x v0.0.0-20230717121745-296ad89f973d // indirect
	github.com/chenzhuoyu/iasm v0.9.1 // indirect
	github.com/gabriel-vasile/mimetype v1.4.3 // indirect
	github.com/gin-contrib/sse v0.1.0 // indirect
	github.com/gin-gonic/gin v1.9.1 // indirect</code></pre> おそらくエラーが解消してサーバーが立ち上がります。

docker compose up --buildでエラーが出るとき

おまけ

docker init コマンドが非常に便利ですね。 もし、ここまで記事を読んでDockerってそもそもなんぞやと思った方はこちらの記事で解説しているので合わせてどうそ。<a href="https://build.yoku.co.jp/articles/a_y-w8d81" target="_blank" rel="noopener noreferrer">https://build.yoku.co.jp/articles/a_y-w8d81</a>

最後に

Docker+Go+GinのAPI開発環境を5分で作る

Entのスキーマファイルを元に生成したER図のリンクは以下のコマンドで作成できます。<pre><code>$ go run -mod=mod ariga.io/entviz ./path/to/ent/schema</code></pre> <img src="https://images.microcms-assets.io/assets/b30d7661c2694503832399a83cea2137/23a1dab6624c4261b481810da2825a45/image.png" alt="">

TL;DR

go mod init で確認用プロジェクトを初期化します。<pre><code>$ go mod init github.com/rotemtam/ent-blog-example</code></pre> 新しいプロジェクトが作成されたことを確認します。<pre><code>go: creating new go.mod: module github.com/rotemtam/ent-blog-example</code></pre>

1. go mod initで確認用プロジェクトを初期化する

Entを使用してアプリケーション・データ・モデルを作成するため、go get を使って取得しましょう。 <pre><code>$ go get -u entgo.io/ent@master</code></pre>

2. アプリケーション・データ・モデルを作成する

Ent CLI を使用して、このチュートリアルで扱う2種類のエンティティ（UserとPost）のモデルを初期化します。 <pre><code>$ go run -mod=mod entgo.io/ent/cmd/ent new User Post</code></pre>

3. Ent CLI を使用して２種類のエンティティのモデルを初期化する

./ent/schema 配下にあるpost.go と user.go にそれぞれ以下を追記します。 user.go<pre><code>// Fields of the User.&nbsp;&nbsp;
func (User) Fields() []ent.Field {&nbsp;&nbsp;
&nbsp;&nbsp;return []ent.Field{&nbsp;&nbsp;
&nbsp;&nbsp;&nbsp;field.String("name"),&nbsp;&nbsp;
&nbsp;&nbsp;&nbsp;field.String("email").
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Unique(),&nbsp;&nbsp;
&nbsp;&nbsp;&nbsp;field.Time("created_at").
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Default(time.Now),&nbsp;&nbsp;
&nbsp;&nbsp;}&nbsp;&nbsp;
}&nbsp;&nbsp;
&nbsp;&nbsp;
// Edges of the User.&nbsp;&nbsp;
func (User) Edges() []ent.Edge {&nbsp;&nbsp;
&nbsp;&nbsp;return []ent.Edge{&nbsp;&nbsp;
&nbsp;&nbsp;&nbsp;edge.To("posts", Post.Type),&nbsp;&nbsp;
&nbsp;&nbsp;}&nbsp;&nbsp;
}</code></pre> post.go<pre><code>// Fields of the Post. 
func (Post) Fields() []ent.Field { 
 return []ent.Field{ 
 field.String("title"), 
 field.Text("body"), 
 field.Time("created_at").
 Default(time.Now), 
 } 
} 
 
// Edges of the Post.
func (Post) Edges() []ent.Edge { 
 return []ent.Edge{ 
 edge.From("author", User.Type). 
 Unique(). 
 Ref("posts"), 
 } 
}</code></pre>

4. 生成されたschemaファイルに設定を追記する

以下のコマンドを実行し、ER図のリンクを生成してブラウザで確認します。<pre><code>$ go run -mod=mod ariga.io/entviz ./ent/schema</code></pre> 以下のようなページが開ければ完了です。<img src="https://images.microcms-assets.io/assets/b30d7661c2694503832399a83cea2137/c355cb8ee1b640ea973aa5f88f22d166/image.png" alt="">

5. コマンドを実行してER図のリンクを生成する

実際に使ってみた

schemaファイルさえ書いていればコマンド一つでER図が生成できるので非常に便利な機能でした。Entはコンスタントにこういった便利な機能のアップデートが行われているので、これからも定期的にリリースノートをチェックして追っていきたいと思います。

まとめ

Go言語のフレームワークentにER図生成ツールが導入されたので使ってみた

<code>$ rm go.sum</code>を実行して go.sum ファイルを一度削除します。

1.go.sumファイルを削除する

<code>$ go clean -modcache</code>go.sum ファイルを削除してもキャッシュが残ってる場合はエラーになるようなので、キャッシュを削除します。

2.キャッシュを削除する

<code>$ go mod tidy</code>を実行してエラーが発生しなければ完了です。

3. go mod tidy でエラーが出なければ成功

<code>$ go mod tidy</code> した際に以下のエラーが出た場合には、再度手順1から実行直してください。 <pre><code>/project # go mod tidy
go: downloading github.com/mattn/go-sqlite3 v1.14.14
verifying github.com/klauspost/compress@v1.15.6: zip: not a valid zip file</code></pre>

※再度 go mod tidy でエラーが発生した場合

【Go言語】go mod tidy, go generateで エラーが発生した時の対処法

CSVのバリデーションというと、ファイル名検証、文字コード検証、ヘッダ検証、レコード単位のバリデーションなどがあると思います。今回その中でヘッダ検証に焦点を当てたのは、自分がざっと調べた感じ意外とGOを使ったCSVのヘッダ検証について紹介している記事がなさそうだったためです。まあ最悪ヘッダ検証はなくてもレコード単位のバリデーションで必須チェックがあれば弾かれるとは思うのですが、ファイル単位ではなくレコード単位でコミットする設計のため、レコード単位でエラーだった場合も後続が走り、結果的に全レコード分のエラーが出力されてしまうため、好ましくないです。そのため今回はヘッダ検証の実装を行いました。

ヘッダ検証の必要性

以下が自分の実装したヘッダ検証を行う関数です。引数としてCSVから読み込んだバイト列が渡され、検証の結果NGだった場合は<code>InvalidHeaderError</code>が返されます。<pre><code>type InvalidHeaderError struct {
 notExistHeaders []string
}

func (i *InvalidHeaderError) Error() string {
 return fmt.Sprintf("CSVファイルのヘッダが欠損しています: %s", strings.Join(i.notExistHeaders, ","))
}

func NewInvalidHeaderError(notExistHeaders []string) *InvalidHeaderError {
 return &amp;InvalidHeaderError{notExistHeaders: notExistHeaders}
}

func ValidateHeader[T any](csv []byte) error {
 scanner := bufio.NewScanner(bytes.NewBuffer(csv))
 for scanner.Scan() {
 unquoted := strings.ReplaceAll(scanner.Text(), "\"", "")
 headers := strings.Split(unquoted, ",")

 notExistHeaders := []string{}

 model := new(T)
 t := reflect.TypeOf(*model)
 L:
 for i := 0; i &lt; t.NumField(); i++ {
 csvTag := t.Field(i).Tag.Get("csv")
 for _, header := range headers {
 if header == csvTag {
 continue L
 }
 }
 notExistHeaders = append(notExistHeaders, csvTag)
 }
 if len(notExistHeaders) &gt; 0 {
 return NewInvalidHeaderError(notExistHeaders)
 }
 // ヘッダのみでいいので1行読み終わったら抜ける
 break
 }
 return nil
}</code></pre>

全体像

<code>T any</code>はCSVをマッピングするモデルクラスです。例として以下のような構造体を定義します。<pre><code>type User struct {
 ID int `csv:"id"`
 Name string `csv:"name"`
 Email string `csv:"email"`
}</code></pre>このように定義しておくと、<code>csvuti.Unmarshal()</code>を使ってcsvから一発で構造体にマッピングしてくれます。（csvのタグ名がCSVのヘッダ名に紐づきます。）CSVのヘッダ情報を別の変数などで管理すると、もしもヘッダ名が変更になった場合に複数箇所を修正しなくてはならないため、csvのタグ情報で一元管理するようにしています。 まずヘッダ検証なので最初の1行のみが欲しいのですが、scanner.Scan()で1行ずつ読み込んでくれるので、最初のループが回った時点でbreakします。<pre><code> // ヘッダのみでいいので1行読み終わったら抜ける
 break</code></pre>次にヘッダの文字列からカラムの配列を取り出しています。CSVのフォーマットはダブルクォートありの想定なのでダブルクォートを取り除いてから、カンマで区切って配列を取得しています。<pre><code> unquoted := strings.ReplaceAll(scanner.Text(), "\"", "")
 headers := strings.Split(unquoted, ",")</code></pre>そしてその後が重要なのですが、モデルのインスタンスを生成し、<code>reflect.TypeOf(*model)</code> でモデルの型情報を取得。<code>t.NumField()</code> でモデル構造体のカラム数が取得できるのでforループで回し、<code>t.Field(i).Tag.Get("csv")</code> でCSVのタグ情報を取得しています。あとは先程取得したCSV側のヘッダカラム配列を走査し、ヒットした時点で<code>continue L</code> によってモデル構造体のカラム毎のループから抜けます。そうするとCSVヘッダカラムのループが最後まで回り終わった時点で該当カラムが欠損していることがわかるので、<code>notExistHeaders</code>に該当カラムを追加します。<pre><code> L:
 for i := 0; i &lt; t.NumField(); i++ {
 csvTag := t.Field(i).Tag.Get("csv")
 for _, header := range headers {
 if header == csvTag {
 continue L
 }
 }
 notExistHeaders = append(notExistHeaders, csvTag)
 }</code></pre>最終的に<code>notExistHeaders</code>が存在していれば、カラムの欠損があったということでエラーを返しています。

解説

実装内容

今回はCSVのヘッダ検証の実装をご紹介しました。自分で解説していて、改善点として<ul><li>Tがanyなのであらゆる型が入れられてしまうのがあまり良くない<ul><li>できればTは構造体であるという制約をつけたい</li><li>csvのタグがないとおそらく落ちる</li></ul></li></ul>などがあるなと思いました。今後上記の課題が解決できたらまた記事にしようと思います。最後までご覧いただきありがとうございました。

GOでCSV import ~ ヘッダ検証編

既に1レコード単位で登録する画面は存在するが、1個1個手作業で登録するのは手間なのでCSVで一括で登録したい、というよくあるケースを想定しています。 1レコードごとに取り込んでいきます。「1レコードごと」という部分がミソです。 単純にテーブルに取り込むだけならバルクインサートのほうが早いのですが、処理が複雑かつ1レコード単位の登録処理については確立しているという想定のため、CSV取り込みの機能拡張にあたっては既存処理を流用できるよう1レコード単位で取り込みます。 レコード数については多くて千件程度くらいのイメージです。

アプリケーション概要

<img src="https://images.microcms-assets.io/assets/b30d7661c2694503832399a83cea2137/6f91acdcfb4f4a2983b12afe5a5bd684/image.png" alt="">今回は上記のような構成を考えます。<ol><li>画面からS3にCSVをアップロード</li><li>S3からSQS(FIFO)にイベント通知</li><li>LambdaでSQSのイベントを取り出す</li><li>LambdaからS3に配置してあるCSVをダウンロードしてインポート処理を実行する</li></ol>CSVの件数もそこまで多くないため、Lambdaの実行時間等の制約を考えても問題ないだろうという判断です。 S3から直接Lambdaでもいいのですが、実行順を保証したいのと、複数ファイルを同時実行したいためSQS(FIFO)を使用しています。 なお、上記において画面やインポートされるDB等の構成は省略しています。 実際にはVPCにあるDB等にアクセスする必要があるためLambdaをVPCに配置する必要があります。そのため、S3やSQSなどはVPC Endpointを通してアクセスします。

インフラ構成

今回は、GOを使ったCSVインポートの事前準備的なお話でした。まだGOについては全く触れていませんが、次回以降はGOの話になりますので、ご期待ください！

さいごに

GOでCSV import ~ 準備編

Go言語は、並行処理を実現するために並行処理のための独自の仕組みを持っています。並行処理は、複数の処理を同時に実行することで、アプリケーションのパフォーマンスを向上させることができます。 Go言語における並行処理は、goroutineという軽量スレッドを使用して実現されます。goroutineは、スタックサイズが非常に小さく、起動や停止のオーバーヘッドが低いため、多数のgoroutineを起動することができます。 また、並行処理を実現するために、Go言語はチャネル（channel）という仕組みを提供しています。チャネルは、goroutine間でデータのやりとりを行うための機能であり、同期的にデータの送受信を行うことができます。

Go言語の並行処理とは

goroutineは、ランタイムによってスケジューリングされます。スケジューラは、goroutineが実行可能であるかどうかを判断し、実行可能なgoroutineがある場合はスケジュールします。 しかし、goroutineのスケジューリングは、厳密には制御できません。そのため、goroutineを適切に制御することが重要です。 例えば、無限ループを含むgoroutineを起動すると、そのgoroutineが無限ループを繰り返し、CPUリソースを占有してしまいます。そのため、goroutineを制御するために、タイムアウトやキャンセル処理を実装することが重要です。 以下は、goroutineにタイムアウト処理を実装する例です。<pre><code>func timeoutFunc() {
 select {
 case &lt;-time.After(time.Second * 5):
 fmt.Println("timeout")
 case &lt;-quit:
 fmt.Println("quit")
 }
}

func main() {
 go timeoutFunc()
 time.Sleep(time.Second * 6)
 quit &lt;- true
 fmt.Println("done")
}</code></pre> 上記の例では、timeoutFunc()関数が5秒間実行されます。しかし、main()関数から6秒間スリープした後、quitチャネルにtrueを送信することで、timeoutFunc()関数をキャンセルします。timeoutFunc()関数内のselect文は、time.After()で5秒待機するか、quitチャネルからの受信を待機します。どちらかが先に発生した場合に、その処理を実行します。つまり、5秒以内にquitチャネルにtrueが送信された場合には、quitという文字列を出力し、6秒後にmain()関数が終了するため、doneという文字列を出力します。 また、quitチャネルは、bool型のチャネルであり、timeoutFunc()関数が実行されている間、main()関数からtrueが送信されるまで待機します。main()関数がtrueを送信することで、timeoutFunc()関数がキャンセルされます。 このように、goroutineを適切に制御することで、効率的で安全な並行処理を実現することができます。

goroutineのスケジューリングについて

チャネルは、同期的にデータの送受信を行うことができます。しかし、チャネルを使った通信は、送信側が受信側にデータを送信するまでブロックされます。そのため、バッファリングされたチャネルを使用することで、ブロックされることなく非同期的にデータの送受信を行うことができます。 以下は、バッファリングされたチャネルを使用する例です。<pre><code>func main() {
 ch := make(chan int, 1)
 ch &lt;- 1
 fmt.Println(&lt;-ch)
}</code></pre> 上記の例では、チャネルをバッファリングして、1つの値を送信します。その後、受信側で値を取得します。この例では、送信側が受信側よりも先に実行されるため、データを受信する前にブロックされることはありません。

チャネルのバッファリングについて

Go言語には、syncパッケージがあります。syncパッケージは、並行処理における排他制御を行うための機能を提供しています。例えば、複数のgoroutineが同時に共有リソースにアクセスする場合、排他制御を行わないとデータ競合が発生する可能性があります。そのため、syncパッケージのMutexを使用して、共有リソースに対する排他制御を行うことが重要です。 以下は、sync.Mutexを使用した排他制御の例です。<pre><code>import (
 "fmt"
 "sync"
)

var count int
var lock sync.Mutex

func increment() {
 lock.Lock()
 defer lock.Unlock()
 count++
}

func main() {
 var wg sync.WaitGroup
 for i := 0; i &lt; 1000; i++ {
 wg.Add(1)
 go func() {
 defer wg.Done()
 increment()
 }()
 }
 wg.Wait()
 fmt.Println("count:", count)
}</code></pre> 上記の例では、increment()関数でcount変数に対する排他制御を行っています。increment()関数内で、MutexをLock()してカウントアップ処理を実行し、処理が終わったらMutexをUnlock()します。これにより、複数のgoroutineが同時にincrement()関数を実行しても、データ競合が発生しません。 また、main()関数でWaitGroupを使用して、すべてのgoroutineの処理が完了するまで待機しています。

syncパッケージを使用する

Go言語には、contextパッケージがあります。contextパッケージは、goroutineのキャンセルやタイムアウト処理を簡単に実装するための機能を提供しています。 例えば、Webサーバーを実装する場合、HTTPリクエストの処理に対してcontextを使用することができます。これにより、リクエストがタイムアウトした場合には、リクエスト処理をキャンセルすることができます。 以下は、contextパッケージを使用したキャンセル処理の例です。<pre><code>import (
 "context"
 "fmt"
 "time"
)

func longProcess(ctx context.Context) {
 fmt.Println("start")
 defer fmt.Println("end")

 for {
 select {
 case &lt;-ctx.Done():
 fmt.Println("canceled")
 return
 default:
 fmt.Println("processing")
 time.Sleep(1 * time.Second)
 }
 }
}

func main() {
 ctx := context.Background()
 ctx, cancel := context.WithCancel(ctx)
 go func() {
 time.Sleep(3 * time.Second)
 cancel()
 }()
 longProcess(ctx)
}</code></pre> 上記の例では、longProcess()関数で、contextを使用してキャンセル処理を実装しています。longProcess()関数では、無限ループを行い、データの処理を続けます。しかし、ctx.Done()が発生した場合には、処理をキャンセルして終了します。main()関数では、contextをBackground()で生成し、cancel()関数を生成します。cancel()関数は、3秒後に実行され、longProcess()関数をキャンセルします。

contextパッケージを使用する

並行処理のベストプラクティス

以上が、Go言語における並行処理のベストプラクティスです。goroutineの制御やチャネルのバッファリング、syncパッケージやcontextパッケージを使用します。 今回3パターンを紹介しましたが、それぞれに適切な使用場面があり、これらのベストプラクティスを実践することで、安全で効率的な並行処理を実現することができます。(適切な使用場面の説明は時間がある時に追記するかもしれないです。。)

Go言語における並行処理のベストプラクティス

とはいえ、自分のマシンで動かすだけの書き捨てスクリプトなら、書き慣れた言語でサクッと作っちゃう方が良いと思います。 僕の場合、メンバーに依頼されて作ることが殆どなので、どんなPCでも動くべきという課題があります。過去にPythonを使ってスクレイピングをしまくってた時期があるので、Pythonが一番サクッと書けるのですが、<blockquote>使うメンバーに、いちいちPythonインストールさせるのはダサすぎない？</blockquote>という問題がありました。 そんな時にGo。バイナリにしちゃえばターミナルで動きます。そしてクロスコンパイルでLinux・Mac・Windowsなんでもこい、強し。方法としても、buildコマンドで実行環境を指定するだけという簡単なもの。（対応している環境もかなり種類があります。よかったら調べてみてください。） これにより、Slack上でバイナリを配布するだけでみんな使えちゃいます。 Goは後発の言語なので、「イマドキ技術でスクレイピングできる」っていう称号も付きます。

クロスコンパイルがいい感じ

言語はGo

スクレイピングを実行するときって、検索ワードを受け入れる必要があるケースが多いです。また、膨大な数のスクレイピングを一気にブン回しちゃうと相手方のサーバーに迷惑をかけることになるので、例えば特定のカテゴリー別に分けて、必要分のデータだけを対象にする必要もあります。 つまり、ターミナル入力の受付を実装する必要があります。 そんな時にSurveyというパッケージが輝きます。<a href="https://github.com/go-survey/survey" target="_blank" rel="noopener noreferrer">go-survey/survey</a> 超簡単に色んなターミナル入力が実装できちゃいます。初めて出会った時は感動しました。。。 Nuxt.jsプロジェクトを立ち上げる<code>npx create-nuxt-app</code>を実行したときに出るような選択式の入力もできて優秀です。（凝った実装をしてるように見えるので、コスパ良く名声を得ることもできます。）<img src="https://images.microcms-assets.io/assets/b30d7661c2694503832399a83cea2137/b3c367c931474500bff81839c9898845/68747470733a2f2f7468756d62732e6766796361742e636f6d2f4772696d46696c746879416d617a6f6e706172726f742d73697a655f726573747269637465642e676966.gif?w=1000&amp;h=179" alt="">

CLIからの入力はSurvey

生のGoでWebサーバー作るときによく使われるアイツです。この<code>net/http</code>パッケージの<code>Client()</code>をスクレイピングで使います。 同じく<code>net/http</code>に入っている<code>cookiejar</code>を併せて使えば、Cookieを持たせることができます。サイトによってはCookieに値を保持できないとリクエストが通らないケースがあるのですが、これで解決です。<pre><code>import (
	"net/http"
 "net/http/cookiejar"
)

func initClient() *http.Client {
		jar, err := cookiejar.New(nil)
		if err != nil {
			log.Fatalln(err)
		}
		return &amp;http.Client{Jar: jar}
}</code></pre>

HTTPクライアントはnet/http

WebAPIから直接JSONとしてレスポンスを受けることができれば、スクレイピングの必要はありません。リクエスト投げて、レスポンスのJSONをGoの構造体にバインドして処理するだけです。（この方法はブラックに近いグレーだと思うけど。） しかし、スクレイピングはHTML形式のレスポンスとの戦い。そんな時にhtmlqueryをよく使います。<a href="https://github.com/antchfx/htmlquery" target="_blank" rel="noopener noreferrer">antchfx/htmlquery</a> レスポンスとして受け取ったHTMLを与えて、そのままHTMLを要素探索するだけです。無駄なくシンプルに、データの取り出しまでを行うことができます。 <a href="https://developer.mozilla.org/ja/docs/Web/XPath" target="_blank" rel="noopener noreferrer">XPath</a>による探索ができるのが有難いです。ブラウザで実際のページで検証しながら、XPathをポチポチ組んでいます。 XPathを使えばハニーポットトラップも回避できます。でも、ハニーポットを仕掛けているサイトはスクレイピングされることを良しとしていないケースが多いので、スクレイピングをする前に、サイトの規約を確認しましょう…！

「Content-Type: text/html」

HTMLパースはhtmlquery

結果として、以下のような構成が出来上がります。至極一般的な構成のような気もしていますが、どうなんでしょうかね？ <ol><li>ターミナル上でGo製のバイナリ実行</li><li><a href="https://github.com/go-survey/survey" target="_blank" rel="noopener noreferrer">Survey</a>でターミナル入力</li><li><a href="https://pkg.go.dev/net/http" target="_blank" rel="noopener noreferrer">net/http</a>のClientでレスポンス受け取り</li><li><a href="https://github.com/antchfx/htmlquery" target="_blank" rel="noopener noreferrer">htmlquery</a>でHTMLから値取得</li><li>CSV形式でファイルを作成して吐き出し</li></ol> （しかしまぁ、そろそろサイトごとに組まずに汎用化しようかな。。）

Macにて、Slack上でバイナリを渡したときに出るこれ。検証されていないために、素直には実行できない。<img src="https://images.microcms-assets.io/assets/b30d7661c2694503832399a83cea2137/5c41e2c88a2a4113b7c00492a9ccbb58/image.png?w=350&amp;h=369" alt=""> バイナリに署名とかできるものなのかね？実行する方法はあるから特に調査せず、それで問題なしとしてるけども。良い感じの方法あったらまた記事にします。 読んでいただきありがとうございました！ﾉｼ

BuildersIO produced by YOKU

#Go の記事一覧

Docker+Go+GinのAPI開発環境を5分で作る

Go言語のフレームワークentにER図生成ツールが導入されたので使ってみた

【Go言語】go mod tidy, go generateでエラーが発生した時の対処法

GOでCSV import ~ ヘッダ検証編

GOでCSV import ~ 準備編

Go言語における並行処理のベストプラクティス

Goでスクレイピングするときによく使う構成まとめてみた

Apacheでオレオレ証明書を発行して自分を証明したい

OpenAPIの運用コスト下げたい。

機密情報の漏洩を防ごう！～gitleaksの運用方法～

#Go の記事一覧

Docker+Go+GinのAPI開発環境を5分で作る

Go言語のフレームワークentにER図生成ツールが導入されたので使ってみた

【Go言語】go mod tidy, go generateで エラーが発生した時の対処法

GOでCSV import ~ ヘッダ検証編

GOでCSV import ~ 準備編

Go言語における並行処理のベストプラクティス

Goでスクレイピングするときによく使う構成まとめてみた

【Go言語】go mod tidy, go generateでエラーが発生した時の対処法