ぼうのブログ - IT4BDA

IT for Biological Data Analysis 1year

2020-02-09T17:00:00+09:00

生命科学データ解析を支える情報技術発売から1年

本日(2020年2月9日)で「生命科学データ解析を支える情報技術」（以下、IT4BDA）発売から1年となった。左が紙媒体、右が電子媒体(Kindle)で、出版社のサイトからはPDF版やEPUB:リフロー版も用意されている。

知り合いのSEさんにも読んでくれた人がいて、「4.2生命科学分野の最新のデータ表現方法」(p91あたり)が参考になっていると言っていただいた時には出してよかったなあと。 IT系の日本語の本は多く出版されているものの、確かにそういったあたりはほとんど参考となる本がないのが実情で。

自分自身も、この本を出したこともあってこの1年「データ解析を支える情報技術」系にも注力してきた。具体的には、Common Workflow Languageでワークフローを記述することを自ら取り組んできた。このブログにIT4BDAカテゴリーを作成して、それに関連するエントリを残してきたが、まだまだこれから。これからも引き続き勉強していきたい。

CommonWL for practical use 3

2019-12-28T14:30:00+09:00

作成したCWL ツール・ワークフローを実際に動かしてみた（その3）

stringtie-mergeができたものとして、次なるプロセスがmergeされたGFFから該当するFASTAファイルを作成すること。このプロセスをやってくれるツールがgffreadである。そこで、これを2019年CWL advent calendarの7日目でも紹介されているzatsu-cwl-generatorを使ってCWL化してみた。

まずはGTFをGFFに直すところから。

#!/bin/sh

docker run --rm ttanjo/zatsu-cwl-generator:latest \
"gffread -E my.gtf -g my_genome.fa -o my.gff3" \
> gtf2gff.cwl

手元のMacBookPro(10.14.6)では無事実行できたが、なぜかマシン(10.13.6と10.15.2)では実行できず。仕方がないので手元で実行してサーバーにはそれをコピーして使わせてもらった。

また、--containerオプションはDocker版では動かなかったので、後から追記するやり方に（というか、オプションをDockerに引き渡すところが失敗していて、そのやり方を私が知らないというオチだと思われる）。

できたCWLファイルのoutputsのところをコメントアウトされているところを有効にして、逆にコメントされてなかったところをコメントアウトした。そして、以下のDockerで動かすための情報（最後の3行）を書き加えた。

#!/usr/bin/env cwl-runner
# Generated from: gffread -E my.gtf -g my_genome.fasta -o my.gff3
class: CommandLineTool
cwlVersion: v1.0
baseCommand: gffread
arguments:
  - -E
  - $(inputs.E)
  - -g
  - $(inputs.g)
  - -o
  - $(inputs.o_name)
inputs:
  - id: E
    type: File
  - id: g
    type: File
  - id: o_name
    type: string
outputs:
#  - id: all-for-debugging
#    type:
#      type: array
#      items: [File, Directory]
#    outputBinding:
#      glob: "*"
  - id: o
    type: File
    outputBinding:
      glob: "$(inputs.o_name)"
hints:
  - class: DockerRequirement
    dockerPull: quay.io/biocontainers/gffread:0.11.6--h8b12597_0

そうすると以下のコマンドでちゃんと動いた。

#!/bin/sh

cwltool cwl-live-coding-2019-12-16/cwl/gtf2gff.cwl \
-E my.gtf -g fa/my_genome.fa --o_name my.gff

こちらは動いたのだが、肝心のGFFからFASTAを生成するコマンドのCWL

#!/bin/sh

docker run --rm ttanjo/zatsu-cwl-generator:latest \
"gffread -g my_genome.fasta -w exon.fa my.gff3" \
> gff2fasta.cwl

は、上述のDockerで動かすための3行を加えて

#!/bin/sh

cwltool cwl-live-coding-2019-12-16/cwl/gff2fasta.cwl \
-g fa/my_genome.fa -w out.fa --my_gff3 my.gff

としても動かなかった。そこで、前のgtf2gff.cwlを参考に以下のように書き換えてみると

#!/usr/bin/env cwl-runner
# Generated from: gffread -g my_genome.fasta -w exon.fa my.gff3
class: CommandLineTool
cwlVersion: v1.0
baseCommand: gffread
arguments:
  - -g
  - $(inputs.g)
  - -w
  - $(inputs.w_name)
  - $(inputs.my_gff3)
inputs:
  - id: g
    type: File
  - id: my_gff3
    type: File
  - id: w_name
    type: string
outputs:
  - id: w
    type: File
    outputBinding:
      glob: "$(inputs.w_name)"
hints:
  - class: DockerRequirement
    dockerPull: quay.io/biocontainers/gffread:0.11.6--h8b12597_0

ちゃんとvalidなCWLになって、

#!/bin/sh

cwltool cwl-live-coding-2019-12-16/cwl/gff2fasta.cwl \
-g fa/my_genome.fa --w_name out.fa --my_gff3 my.gff

としたら、バッチリ目的のFASTAファイルができた。

残るは、stringtie-mergeのCWL化！

CommonWL for practical use 2

2019-12-20T21:30:00+09:00

作成したCWL ツール・ワークフローを実際に動かしてみた（その2）

昨日のその1に引き続き、作成したHISAT2-StringTie2のワークフローを実際に動かした際のログを記す。

余談だが、次世代シークエンサーDRY解析教本改訂第2版（以下、DRY解析教本2）は今朝見たらAmazonでも在庫があるようになっていた。

さらに余談だが、今年の頭に出した「生命科学データ解析を支える情報技術」の最初の方に今やっているようなDockerを使ってバイオなプログラムを動かす話のさわりを書いてあるので参考まで。

さて本題であるが、とりあえず動く方のCWLだけで、HISAT2のmappingをfor文で繰り返し実行する。 fqディレクトリ内にgzip圧縮されたfastqファイル（なんとか_trimmed.fq.gzというファイル名で統一されているとする）がある場合、それら全部に計算する方法として、以下のバッチスクリプトを組んだ。

#!/bin/bash
for f in fq/*.gz; do
        g=`basename ${f%_trimmed.fq.gz}`
        echo $g 
        cwltool cwl-live-coding-2019-12-16/cwl/hisat2-stringtie_wf_se.cwl \
         --nthreads 6 --annotation organism1.gtf \
        --fastq $f --hisat2_idx_basedir . --hisat2_idx_basename org1
        mv stringtie_out.gtf gtf/$g.gtf
done

今朝、StringTie2の論文がでたという著者によるtweetを見て、これまでのやり方だとStringTie-1.3のDocker Imageを使って実行していたことに気がついた。そこで、pitagora-cwl/tools/stringtie/assemble/stringtie_assemble.cwlをコピーしてきて、

hints:
  DockerRequirement:
    dockerPull: quay.io/biocontainers/stringtie:2.0--hc900ff6_0

としてstringtie:2.0のイメージを使うように書き換えた上で、cwl-live-coding-2019-12-16/cwl/hisat2-stringtie_wf_se.cwl のstringtie_assembleの部分をローカルなCWLを参照するように、以下のように書き換えた。

  stringtie_assemble:
    run: stringtie_assemble.cwl

これでStringTie2を使って計算するワークフローとなった。そこで、これを使ってすべてのFASTQ（22個ありました）に対して実行し、複数のGTFを作成することができた。ちなみに、Mac miniで、CPU10個＋memory48GをDockerに割り当てて、一個あたりだいたい0.5hで、ほぼ半日で計算が終了。

しかし、stringtie mergeでそれらのGTFを束ねるプログラムもCWLで、ともう一つ作成してもらったCWLを動かそうとしたが、こちらは相変わらず

#!/bin/bash
cwltool cwl-live-coding-2019-12-16/cwl/stringtie-merge.cwl \
--nthreads 6 --guide organism1.gtf --o_name merged.gtf \
--mergelist_txt mergelist.txt

としても Error: cannot find file 'Brain.gtf' and /var/lib/cwl/stg4116466b-c5a7-4b66-8aac-76fe5a0ef6d1/mergelist.txt does not look like GFF! というエラーで動かず。達人に訊くしかないなあ（その3に続く）。

IT for Biological Data Analysis: a half year

2019-08-17T20:00:00+09:00

生命科学分野の最新のデータ表現方法としてのRDF

いつの間にか、「生命科学データ解析を支える情報技術」が発売されてから半年が過ぎていた。

それを思い出させたのは、先日のお盆thonの有識者会議。第4章「テキストマイニング」の91ページからの4.2生命科学分野の最新のデータ表現方法は、データベース統合化の開発をしている人たちにとってよい（日本語）リソースとなっている、と聴いて。

有効に、しかも意図した通りに使われていて、著者かつ監修者の私を前にしてのお世辞かもしれないが、素直に嬉しい。

もし次があるとしたら。それらをうまく使いこなす実例の手引書があるといいですね。

IT for Biological Data Analysis 4months

2019-06-09T12:00:00+09:00

生命科学データ解析を支える情報技術発売4ヶ月

2019年2月9日に「生命科学データ解析を支える情報技術」（以下、IT4BDA）が発売されてから早4ヶ月。 amazonのランキング見ているとまあそれなりには売れているような印象。個人的にはエンジニアさん向けの本もありますよ、と紹介できるようになってとても満足しているところである。

昨年(2018年)から静岡エリアで生命科学データ解析をエンジニアさん向けに知ってもらうとする自主的な勉強会Shizuoka.ngsが開催されている。去年の第一回目(Shizuoka.ngs#1)に続いて、今年も6月に企画されており、その名もShizuoka.ngs#2。

去年は、ちょうどIT4BDAを執筆している真っ最中で、書きかけの内容をチョイだしして皆さんの反応を参考にさせてもらった。今回は、テキストとして予想される内容の概要がすでに成書として出版されており、どんな会であるかはわかりやすく、参加しやすくなったのではないかと。その反面、話す方としては同じ内容というわけにもいかず。もちろん、IT4BDA全部はカバーできないものの、ハードルが高いと思われる第1章のイントロダクションのところを中心によりわかりやすく、そして最新の内容を盛り込んで話したいと思っています。また、ハンズオンのワークショップも基本的には第2章の最後にあるチュートリアルを基本にやる予定なので、是非参加してみてください。そこに関しても何かプラスαを仕込んでますので、本を読んでしまった人でも楽しめるように考えていますので。

IT for Biological Data Analysis 1month

2019-03-09T21:00:00+09:00

生命科学データ解析を支える情報技術発売一ヶ月

2019年2月9日に「生命科学データ解析を支える情報技術」（以下、IT4BDA）が発売されてから一ヶ月が経った。これまでの本同様、amazonの「生命科学」や「バイオテクノロジー」カテゴリーでのランキングを見る限り、好調の模様。

ただ、今まで本が置いてあるのを目撃した本屋での陳列が、コンピューターコーナーでなくて、医学書コーナーなのが気になっている。エンジニアさん向けに生命科学データ解析を紹介する入門書なんだから医学書コーナーでなく、コンピューターコーナーに置いていただきたいのだが。

IT for Biological Data Analysis in dennou

2019-02-20T20:00:00+09:00

生命科学データ解析を支える情報技術の紹介記事

「生命科学データ解析を支える情報技術」（以下、IT4BDA）が正式に発売されて早10日あまり。かねてより用意してあった紹介文（拙作）が、技術評論社のサイトの新刊ピックアップに掲載された模様。また、ほぼ同時に技術評論社の電脳会議 Vol.193にも同じ文章が組版された形で(p7)。

IT4BDAを紹介するのが大変やりやすくなった！

IT for Biological Data Analysis 1week

2019-02-16T09:00:00+09:00

生命科学データ解析を支える情報技術発売一週間

2019年2月9日に「生命科学データ解析を支える情報技術」（以下、IT4BDA）が正式に発売され、流通するようになった。

数日前のエントリにも書かせてもらった通り、発売当日に偶然開催されたMishima.syk#13（第13回三島創薬勉強会）にて、「エンジニアのための生命科学入門本ができるまで」と題してLightning Talkさせていただいた。

また、自分は参加できなかったものの、ちょうどこの一週間の水曜日の夜に開催されたみんなのPython勉強会(stapy)#42の冒頭で、当該勉強会(stapy)がきっかけになって出版されることになった本として紹介していただいたり。詳細は、数日前のエントリに。

これまでの本同様、amazonの「生命科学」や「バイオテクノロジー」カテゴリーでのランキングは時として一位を取ることもあったりと、好調の模様だが。

twitterのハッシュタグ #IT4BDAに寄せられた意見に「体系的に学べる」が目に付くが、果たしてそうだろうか。体系的にまとめられないから、イントロダクションと環境構築以外はよく使われている要素技術を列挙しただけという構成となっているのだが。批判的な内容も出てきてもおかしくないと思っているのだが、そういうのは表に出さないというものなのかな…。

IT for Biological Data Analysis in stapy 42nd

2019-02-13T21:00:00+09:00

みんなのPython勉強会#42で紹介

自分は参加できなかったのだが、「生命科学データ解析を支える情報技術」をみんなのPython勉強会(stapy)#42の冒頭で紹介していただきました。 stapyがきっかけになって出版されることになった本、ということで。

会場に行けなくても、YouTube Liveで参加できる素晴らしい会となりました。

それにしても、twitterのハッシュタグは #IT4BDAだが、今までの本同様、私ばっかりが書いている感じ…。

IT for Biological Data Analysis for sale

2019-02-09T17:00:00+09:00

生命科学データ解析を支える情報技術発売

本日(2019年2月9日)、「生命科学データ解析を支える情報技術」（以下、IT4BDA）発売。調べてみたら、ちょうど2018年2月9日にIT4BDAを書くことになった（企画案として出していたのが承認された）らしい。

そしてさらに、今日は三島エリアでやっている有志の勉強会、Mishima.syk#13の開催日。 LTでIT4BDAを紹介させていただいた。題して、「エンジニアのための生命科学入門本ができるまで」。

左が紙媒体、右が電子媒体(Kindle)で、出版社のサイトからはPDF版やEPUB:リフロー版も用意されている。自分の書いたものがKindle版やEPUB版の書籍となったのはこれが初めてなので、とても嬉しい！

IT for Biological Data Analysis Kindle version

2019-02-07T20:00:00+09:00

生命科学データ解析を支える情報技術 Kindle版

Kidle版も2019年2月6日に予約発売開始になっていた。PDF版はこれまでも経験あるが、自分の著書がKindle化されたのは実は初めて。うれしい。

出張で受け取れていなかった実物も手元に届き、周りのお世話になった方々への献本を。それ以外の宅配による献本もTwitterの反応を見るかぎり、順調にいっているようだ。

あとは発売日を待つのみ。

Real IT for Biological Data Analysis

2019-02-05T20:00:00+09:00

生命科学データ解析を支える情報技術の実物

そういうわけで、今週末(2/9)に発売予定の「生命科学データ解析を支える情報技術」をついに手にした。今日は出張だったが、偶然そのさきに共著者がいたおかげで。

すでにSerial No.1のサインも。

あともうちょっとお待ちあれ。

IT for Biological Data Analysis for pre release

2019-02-04T20:00:00+09:00

生命科学データ解析を支える情報技術先行発売開始

立春の今日(2/4)、今週末土曜日(2/9)に発売予定の「生命科学データ解析を支える情報技術」（以下、IT4BDA）の先行発売が始まった（模様）。当該書店さんのtweetを見ただけで、自分では売っているのを見たわけではないのだが。

また、技術評論社のウェブサイトが更新され、「電子化の予定があります」と。

なお、twitterのハッシュタグは #IT4BDAなので、tweetする際には是非ハッシュタグを、よろしく。

IT for Biological Data Analysis in print

2019-01-22T20:00:00+09:00

生命科学データ解析を支える情報技術印刷中

来月2019年2月9日に発売予定の「生命科学データ解析を支える情報技術」（以下、IT4BDA）、2019年1月22日にamazonにも表紙とより詳細な目次が公開された。

また、技術評論社のウェブサイトにも、IT4BDAのページができてて、表紙の画像や詳細な目次情報も。

なお、twitterのハッシュタグは #IT4BDA。乞うご期待！

IT for Biological Data Analysis preview

2019-01-17T20:00:00+09:00

生命科学データ解析を支える情報技術予告編

来月2019年2月9日に発売予定の「生命科学データ解析を支える情報技術」（以下、IT4BDA）、ぼうのブログで本日(2019年1月17日)公開された表紙をいち早く公開させていただきます！

以下のamazonにも、まもなく反映されるとのこと。

なぜIT4BDAを書くにいたったか

これまで生命科学データ解析は、これまで主に生命科学系の大学や大学院を出た方が取り組んできたため、生命科学データ解析の教科書やデータ解析の手順書は、そのほとんどが生命科学研究者向けに出版されてきた。私もこれまでは医学生物学系出版社からのみ、書籍を出してきた。

しかしながら、ヒト個人のゲノムの解読が実際に行われる時代となってきており、これまでのように生命科学を修めた方だけでなく、より多くの人たちが生命科学データ解析に関わっていかねばならない状況となっている。

そこで、情報系のバックグラウンドを持ち、情報科学技術に軸足をおいている研究者に執筆陣に入ってもらい、さらにより多くの方、特にITエンジニア向けに、生命科学データ解析の面白さやノウハウを解説したいという想いで本書を書くにいたった。そう、情報技術系で有名なあの技術評論社から。これまでの生命科学研究者とは違う聴衆（IT技術者を想定）に向けて「生命科学データ解析」を伝えることになるわけ、である。

IT4BDAのダイジェスト

IT4BDAは具体的な応用事例とあわせて、生命科学データ解析にいかに情報処理技術が利用されているかを紹介している。

まず生命科学データ解析とは何かについて、特にそのデータ解析の対象となるDNA配列データを中心に解説（第1章生命科学データ解析入門）。それは生物のゲノム情報はDNA配列データとして書き込まれているがゆえである。次に、生命科学データを扱う解析環境の構築方法と活用方法に関して、実際のデータ解析例を交えて紹介（第2章解析環境の構築）。ここまで、私ぼうのうが担当執筆した。

続く章では、体系的に学ぶことが困難な生命科学データ解析に関して理解を深めてもらうために、技術的な側面から「データベース」（第3章）、「テキストマイニング」（第4章）、「クラウド」（第5章）、そして「可視化」（第6章）をトピックとして挙げている。この4つの章は、それぞれのエキスパートに執筆をお願いして書いてもらった。なかなかの仕上がりだと自負している。

なお、twitterのハッシュタグは #IT4BDA。乞うご期待！

Homework in winter vacation 2019

2019-01-06T12:00:00+09:00

冬休みの宿題2019

昨年(2018年)の冬休みは、ゲノム第4版の翻訳が冬休みの宿題で、

第5章 Genome Annotation （ゲノムアノテーション）
第6章 Identifying Gene Functions （遺伝子の機能を同定する）

の2章分。実は、前版では元上司たちが担当していた章で、結果としてその後を引き継ぐ形で、まっさらからではなかったのでそれなりにサボらせていただいた。

実に11年ぶりの改訂で新しい技術に関して加筆された部分が多く、CAGE法に関しても第5章で、CRISPR/Cas9を用いた機能解析に関しては第6章に詳細な記述が。

さて今年の冬休みの宿題だが、来月(2019年2月)に出版される生命科学データ解析を支える情報技術の紹介文を書いていた。

これまで面識がなかった情報科学系出版社の編集者の方にやはりほぼ1年前の2017年12月にStart Python Club主催のPythonオープンサイエンスシンポジウム in つくばでお会いしたところから始まった企画。 ITエンジニア向けに生命科学データ解析を紹介したいという想いで突っ走ってきた。なれない点も多く色々とあったが、予定通りに進んでいて出版が楽しみ。

IT for Biological Data Analysis

2018-12-29T12:00:00+09:00

生命科学データ解析を支える情報技術第一報

予約販売開始は年越しと思われた「生命科学データ解析を支える情報技術」、Amazonに出ていたようで、取り急ぎここ(ぼうのブログ)にも。詳報は後日。

これまでの医学生物学系出版社からではなく、情報技術系（技術評論社）からの出版ということで、これまでの生命科学研究者とは違う聴衆（IT技術者を想定）に向けて「生命科学データ解析」が伝えられる！

なお、twitterのハッシュタグは #IT4BDA。