【悲報】マイナポータルさん とんでもないCSVデータを出力してしまう

マイナポータルで医療費情報のCSVデータをダウンロードしたんだけどさ…これはCSVって言いませんよ…？
てか、こういう形式ならむしろJSONで出してくれ…w pic.twitter.com/fdCPZu63Rl

— 後藤 浩昭 / GORRY (@gorry5) March 2, 2025

まあいいけどね…PDFで出してもらってキャプチャしてCopilotに貼り付ければ、CSV化してくれるもんね…w pic.twitter.com/8YzI9A1Sxf

— 後藤 浩昭 / GORRY (@gorry5) March 2, 2025

てか、診療「日付」ってデータ化されてないんだな…なぜ？

— 後藤 浩昭 / GORRY (@gorry5) March 2, 2025

続きというか関連する話というか…https://t.co/Lm7j4b8OM7

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

「カンマで区切られたデータだからCSV」という返信がかなりあって驚く…。
CSVというのは、細かい書式以前に「2次元のデータを、横軸をカンマ、縦軸を改行で区切ったデータ構造」という大前提があります。… https://t.co/iLqrS7SjTP

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

そういや「INIファイルのほうがマシ」という返信があったな…実はこのファイルの構造、INIファイルと同等と考えていいです…キー名が日本語なだけで。
…いや、INIファイルは「同じキーが同一レコード内にあってはいけない」ので、本当は正しくないのだけれど、概念としてな… pic.twitter.com/nG7kw0eAFu

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

「JSONで出す」というなら、こんなもんです。簡単でしょ？ pic.twitter.com/HC2d26MlUf

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

なお、今のExcelにはPower Queryという機能があって、コード書いたりAPI使ったりとか考えることなく、JSONデータをExcelに読み込めます。あんまり直感的じゃない気はするんですが…（苦笑 pic.twitter.com/z65Ft1x2H7

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

「Excelで開けるCSVで出せ」ということなら、これくらいにはしておくべきかと…これなら人でもプログラムでも容易に読めます pic.twitter.com/EfM2giLOBR

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

CSVファイルを定義しているRFC4180にはひとつ不満というか間違いがあると思っていて…空行はアリだと考えています。
誤: レコードは、カンマで区切られた、1個以上のフィールドを含む
正: レコードは、カンマで区切られた、0個以上のフィールドを含む

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

また、「各行は、ファイル全体に同じ数のフィールドを含める必要があります」には、「右端の空のフィールドは省略してもよい」を含めるべきとも考えています。
Excelは出力時には「最もフィールド数の多いレコード」に合わせて右端に「,」を加えてくれますが、読む時にはなくていいんですよね…

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

よそで出した話を…
「CSVに準拠したテキストファイル」に対して、「CSVに準拠していないテキストファイル」とは何か？
・カンマやクォート文字の扱いは千差万別。RFCに沿ってないからって「準拠していない」とはいえない。…

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

そういや「データの縦持ち」とか「縦横入れ替えて」とかいう話が出ていたな…これを見てもらうと、そういう話ではないのがわかるかと…https://t.co/y78AoVxEpd

— 後藤 浩昭 / GORRY (@gorry5) March 3, 2025

この意見には微妙に賛同できなくて、CSVであるかどうかっていうのはCSVの書式(RFC 4180とか)に従っているかどうかのみで判定されるべき　内容はまったく関係ない
その意味でこのデータは空行があるのと、1,2行目のカラム数が他と違うのでCSVではない https://t.co/tAma2zLZ23

— 謙虚なwada314 (@wada314) March 3, 2025

CSVが自然発生的に普及してきた時代を実際に過ごしてきたはずの方が、こんな「大前提」を持ち出してきてしまった事の方が驚きですね……。
Excelと同じで、「このように使うべきではない」というのと「これはデータフォーマットとして不正である」というのは別の問題として認識しましょうという話。 https://t.co/FmS5Kw8oDx

— saki (@nornir) March 3, 2025

CSVの大前提が知らない間に作られてる https://t.co/DaWnZCeeGp

— D.Takahashi.kubeconfig (@yaemonsan) March 3, 2025

うーん、CSVはファイルフォーマットであってデータ構造じゃないと思うんだけどなあ…メタデータも無いわけで、中身のデータ構造に対する規定はInfoであるRFC4180にも特に規定がないと思うんだが…もちろん、このファイルはろくでもない構造だというのは同意なんだけど… https://t.co/CVibW03pDy

— novtan (@NOV1975_2) March 3, 2025

我々はJSONやXMLの方が扱いやすいけど皆が皆JSONやXMLを扱えるわけじゃなし、
このあと触れられてるけど同一のKeyが複数あるから横にデータを持つ（あるべき姿のCSV）もできないし
Key Value の形のCSVは妥当な運用だと思う https://t.co/MUe0jFJwTd

— レシニ𝕏ェラトキシン（注・からい。空を飛ばないものだけを指す） (@09ip) March 3, 2025

これはまだマシで、官公庁のCSVには横方向に5レコードで折り返して縦方向にも続くような、信じられないファイル書式が結構ある。 https://t.co/Ya3kA1cMnU

— marvelph (@marvelph) March 3, 2025

CSVが何かすら分かっておらず、単純にExcelのシートをCSV形式でエクスポートしただけ説 https://t.co/DLAxNpawV1

— Ikeda Daigo (@hogedigo) March 3, 2025

頭にタイトル的なの付けるなら、ホントJSONにしろよ💢と思う… https://t.co/79m8JbSdt6

— AutomationMaster🤖INTP (@auto_tomochin) March 3, 2025

これ別に間違いじゃないしcsvって言えるよ。
「医療費明細」って名目だったら「は？」ってなるけどサマリと資格者情報と明細を1ファイルにまとめてるんだからこうなるのはしょうがない。これ見て「これ作った奴はクソ」とか「国のシステムだからこそしょうがない」って言ってる奴は恥ずかしい素人 https://t.co/FsGC7ZbC7k

— けいいちろう (@Keiichiro) March 3, 2025

CSVですやん。
データに主キーがあるなんて、誰も言ってない。 https://t.co/EzbTsu19kM

— いまいま (@imaima0gou) March 3, 2025

確かにJSONっぽいなw
CSVって、ExcelやRDBみたいに、列名を1行目に書いて、それ以降をレコード形式にするもんだと思ってた。それ以外の書き方もあるんだね。 https://t.co/TGGH9Xp5af

— みそら🖥️🎮️SE・Android勉強中 (@yanagi_misora) March 3, 2025

JSONをエンドユーザーに見せてはいけないみたいな風潮があるように感じます。
構造化されたデータさえあれば知識がなくともAIや可視化ツールで情報を扱えるとは思われていないのでしょうか。 https://t.co/pG8Wm34UpL

— 鎌滝 (@la_iuias_) March 3, 2025