ジャストシステムが2000年～2005年頃に販売開始した製品にConceptBaseというのがありました。
一言で言えば、類似文書検索システムです。ある文書と良く似た内容の文書を社内の文書ライブラリーから探して来るとか、FAQシステムとして、何かの不具合の解決方法を書いた文書を探すとか、そういうためのものでした。
その基礎になっている技術は、マハラノビスの汎距離と言って、ある文書の中の名詞系の語彙だけを抜き出し、それらの語彙に対して一種の分類を行い、分類の種類を一つの座標軸にし、単語の出現回数によって多数のベクトルを持った多次元ベクトル空間を作り、その重心を取ります。類似文書とはつまりその重心同士の距離が短いということになります。
これって実は今話題の生成AIのEmbeddingと呼ばれる技術そのものです。ただConceptBaseの頃は名詞系の語彙だけで多次元ベクトル空間を作りましたけど、今はトークンと呼ばれていますけど、名詞系以外の形態素も含めて分類情報を与えているのだと思います。
ちなみにChatGPT4にマハラノビスの距離とEmbeddingが関係あるか聞いてみました。回答はやはりその通りでした。

Q: 生成AIのEmbeddingは、マハラノビス距離と関連がありますか？

A: ChatGPT
はい、マハラノビス距離と生成AIのembeddingには関連があります。マハラノビス距離は、特徴空間において、データの分布を考慮して2つの点またはデータセット間の距離を測定する方法を提供します。生成モデルのembeddingは、高次元データを低次元空間にマッピングし、データ間の関係を捉える役割を果たします。
具体的には、生成モデルが学習する過程で、データの内部構造やデータ間の関係を学習し、これらの情報を低次元のembedding空間にエンコードします。マハラノビス距離を利用することで、この低次元空間においてデータ点間の相対的な距離をより適切に計算し、クラスタリングや異常検知、類似度計算など多くのタスクを効果的に行える可能性があります。マハラノビス距離は、特にデータの分布が正規である場合や共分散行列が利用可能な状況で有用です。

ちなみにこのマハラノビス距離は、品質保証の分野でも、田口メソッドと組み合わせたマハラノビス･タグチ法として、機械などの運用中に起こりうる不具合の時期を予測する技術としても使われています。

会社でExmentを動かすため、アマゾンのAWSのEC2という仮想サーバーでAmazon Linux 2023のサーバーを構築しました。（構築しました、と言っても、すぐにターミナルソフトでログイン出来る形で提供されます。）
このサーバー上でvsftpdを動かしてFTPサーバーとしたのですが、何故かクライアントからアップロードした場合、サイズが10.5MiBを超えるファイルは転送が止まりエラーになります。ちなみに私の家のサーバー（AlmaLinux ９）につなぐと問題ありませんので、クライアントや会社のファイヤーウォールの問題ではありません。
色々調べてみたのですが、Amazon Linux 2023自体がまだ公開から半年くらいからのせいか、Web上には情報がありませんでした。

取り敢えず以下の代替案は見つけました。
１．クライアントとしてWinSCPを使う。
２．プロトコルをftpではなくscpにする。
３．https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html?fbclid=IwAR0zkJ-x5x3ZS6xntB9q-vppMKDSGEcMJvpMGM8nDptqs1KtMDRNg2D9Rf より、puttygen.exeをダウンロードする。
４．puttygen.exe を使い、pemファイルからppkファイルを作成し、それをWinSCPの認証の所に設定。

３、４、が必要なのは、EC2のサーバーはログインの時にIDとPW以外にPEMファイルを使います。ところがWinSCPはPutty形式しか受け付けないので、３のツールでPEMからPPKファイルを作る必要があります。WinSCPはAmazonのS3もサポートしているので、持っておいて損は無いと思います。

なお、ファイル数が少なければ、TeraTerm（EC2にはベータ版が必要）でサーバーにつないだ後に、その窓上にファイルをドロップすればアップロード出来ます。この場合もプロトコルはSCPです。

ついでに、これまでCentOS他のLinuxを使っていて、Amazon Linux 2023を初めて使った人が最初にとまどうのは、firewalldが入っていないことです。別にdnfで入れればいいのですが、ポートの開け閉めは別にセキュリティーグループというのを設定してそこでやるのがAWSのec2のスタンダードなやり方になっています。

6月から勤めている会社で今は取り敢えずITの仕事しています。そこであるデータベースを作ることになりました。データは20数年分あるのですが、その入力がExcelでされていて、入力チェックがほとんど入っていません。そのためデータの揺れが非常に大きいまま、最終的にはkintoneのアプリの中に収録されています。それでまず入力はBPM（Business Process Management）のツールである、Questetra BPM Suiteを使うように変えました。Questetraは入力欄を正規表現で規制出来るので、非常に強力な入力チェックが簡単に実装出来ます。またXML形式のリストデータを参照してそこから選んでデータを入れることも出来ます。そしてQuestetraには、最初からkintone連携というのが用意してあったので、最初はこれを使って自動的にkintoneのアプリにデータを書込めばいいかと思っていました。ところが、kintoneにはコースが2つあり、今の会社で使っているのは安い方で、これには外部連携機能がありません。外部連携機能を使うためには、高い方のコースに全アカウント切り替えないといけません。それでそこまでしてkintoneを使う価値があるかどうか調べました。その結果、「kintoneって一体何の役に立つの？」という疑問が湧いて止みませんでした。

kintoneの問題点はというと、
（1）データベースのツールのように宣伝していますが、リレーショナルデータベースではまったくありません。従ってデータが増えれば増えるほど管理が面倒になり、スピードも低下します。主キーの設定とかリレーションの設定も当然ありません。トランザクション処理（一連の複数のデータベース操作処理のこと）も出来ません。
（2）普通何かのマスターテーブルを参照してデータを入れる、というのはデータベースの基本中の基本ですが、kintoneだとこれが「ルックアップ」ということになっています。しかし、ルックアップは別のアプリのデータを一度コピーしてそれを参照するだけのものであり、元のアプリのデータが変更されても、それはコピーした側のアプリには自動的に反映されません。
（3）データの容量も1アカウント当たり5GBしかありません。
（4）見た目のカスタマイズも機能が限定されていて、データの一覧が見にくいです。今の会社では皆結局CSVをエクスポートして、Excelで見ています。
（5）入力の制限に正規表現がサポートされていません。

kintoneを作っているのはサイボウズですが、ここの開発のトップのH氏は元ジャストシステムの方で、私と同じ頃在籍されています。しかしその方が所属していたのはJOSSというグループウェアのチームです。なのでサイボウズのガルーンというグループウェア（今の会社で使っています）は笑ってしまうくらいJOSSとそっくりです。でもガルーン自体はそんなに悪くありません。しかし、kintoneは「なんちゃってデータベース」ツールであり、私に言わせれば「ゴミデータ作成ツール」です。

それでどうしたかと言うと、結局kintoneを止めて、前の会社で使った経験のあるExmentに変えました。これは前の会社であるデータベースを操作するアプリを開発するのに、ある開発会社から提案されたもので、これを使うことで開発費を半分に抑えることが出来ました。また、ExmentはMySQLを使うWebアプリの開発ツールであり、当然ちゃんとしたリレーショナルデータベースのアプリが簡単に作れます。今実際にExmentでデータベースアプリを作り始めましたが、生産性は非常に良いです。kintoneのコース変更は止めて、そのお金でAWSのEC2サービスでAmazon Linux 2023を動かし、その上でExmentを動かしています。前の会社ではExmentのインストールはその開発会社にやってもらいましたが、今回は自分でやりました。サーバーのその他の設定も含めて3日もかからず構築出来ました。大事なことを言い忘れましたが、Exmentはオープンソースのツールであり、一つの会社で一つのサイトを使い、また開発元にカスタマイズを要求しない限りは無償です。カスタマイズはプラグインを開発することで無償のまま可能です。私としてはkintoneよりもExmentを強くお勧めします。自分で開発するのが敷居が高ければ、NTTデータCCSという会社が構築サービスをやっています。

今朝5時頃から8時40分まで、停電のためサーバーが落ちていました。

このブログを動かしている自宅サーバーを引っ越しにより移設するため、8月11日（金）の16時より同日深夜0時くらいまで、一時的にアクセス出来なくなります。移設が完了して元通りアクセス出来るようになりましたら、また連絡します。

岩波書店の雑誌「世界」のツィートで、「ChatGPTの特集をしたのに、ChatGPTに雑誌『世界』って何ですか」と聞いたら、まさかの回答…というのがありました。

これは聞き方が悪いのであり、ChatGPTは英語に直してから調べますから、雑誌「世界」は”World”として検索されます。言うまでもなく、Worldが付く雑誌は多数あり、また新聞ですがドイツのdie Weltやフランスのル･モンドもすべて「世界」という意味です。この場合、次のように聞けば、どこまで正しい説明かは別としてちゃんと回答します。ChatGPTがダメと言っている人の多くは自分の質問の仕方のまずさを棚に上げています。
=================================================================
User
岩波書店の雑誌「世界」について教えてください。
ChatGPT
岩波書店の雑誌「世界」は、日本の出版社である岩波書店が発行している総合的な国際情報誌です。この雑誌は、世界の政治、経済、文化、社会などの幅広いテーマに関する記事を掲載しています。
「世界」は、日本の読者に対して国際的な視点を提供することを目的としており、世界各地の重要な出来事や動向、国際関係、地域紛争、経済動向、文化・芸術、環境問題などについての情報を取り上げています。また、特集記事や対談、エッセイなどを通じて、専門家や著名人の意見や洞察を紹介しています。
「世界」は月刊誌として発行されており、一般の読者だけでなく、国際関係や国際ビジネスに関わる人々や学術研究者にも利用されています。岩波書店は、学術的な厳密さと広範な情報を提供することに力を入れており、「世界」もその理念に基づいた内容で読者に情報を提供しています。
「世界」は、日本語の記事だけでなく、時折、外国語の記事も掲載されることもあります。また、オンライン版も提供されており、雑誌の内容や関連記事をウェブサイト上で閲覧することも可能です。
岩波書店の雑誌「世界」は、幅広い国際情報を提供することで、読者により深い理解と広い視野をもたらす貴重な情報源となっています。