Java : Java でUnicode文字列処理中に「�」という表示が出てくる現象。Replacement Character。

-

根本原因

*ブログのラベルは「Java」としましたが、「Unicode」「文字コード」と置くのが正確ですが、まぁそのへんはもう暗黙の前是ということで。

Unicodeにおいて、なんらかの文字コードでマッピングが失敗する場合、その取扱いできない文字は「�」（U+FFFD）に置換されます。

プログラム内の文字列処理中にこの状況になると、当然「�」になってしまいます。
詳細は自分が説明するよりも、とても詳しいブログがあったので、ぜひそちらを → 「あしのあしあと : Javaにおける文字コード周りの話(5)」

自分が遭遇した状況

MySQLで、どこかのフィールド値が「NUL文字」（U+0000）の場合、これを取得すると「�」になっていました。

[テーブル状況（簡易）]
idstr
1あいうえお
2かきくNULLNULL

↑をDAOなどでゲットすると、「1 : あいうえお、2 : かきく��」。

対応

U+0000以外にも同様の対応が必要な文字はあるので、とりあえずcharとして取扱い、OK/NG判定したりしました。
この辺はプロジェクトの状況ごとに対応するしかないと思います。

コメント

コメントを投稿

このブログの人気の投稿

windows10 で nvidia のグラボのcode43現象を解決した

-
■そもそもの発端 2018年秋、OS入れ替え（win7→win10）を行ったら、グラボが認識されなくなった。 リンク → GTX560Ti がおかしい(code 43が出る)（2018年）→解決しました（2019） ■原因（ざっくり） nVidiaの専用ドライバはPC内部に存在しているが、nVidiaの専用ドライバよりもWindowsの汎用ドライバが優先的に使用されている。 ■やったこと とりあえずWindowsが優先的に採用してしまっている汎用ドライバを参照しない状況にした。 ■手順 OSのクリーンインストール（必要なら） 既存の全グラフィックドライバの削除（ここから本筋） 再起動 適用したいnVidia専用ドライバのインストール 再起動 Windowsの汎用ドライバになっちゃってるので、ドライバを元に戻す ■手順の詳細説明（一部） 2. 既存の全グラフィックドライバの削除 について 有名なドライバ削除ツール「 DDU 」（Display Driver Uninstaller）というものを使用します。 リンク : 「 DDUダウンロードページ（別窓） 」 使用時はDDUのチェックボックスから以下を指定します。 ・Windowsが自動でドライバをインストールしないように設定（自動インストールを許可しない） 勝手にやられると、今回みたいなことになってしまうので。 6. Windowsの汎用ドライバになっちゃってるので、ドライバを元に戻す について 再起動したら、なぜかWindowsのドライバが適用されており、code 43 の状況になっていました。 一つ前の世代では確実にnVidiaの専用ドライバがインストール+利用されていたので、ドライバの画面から「ドライバを元に戻す」を押下し、nVidiaの専用ドライバに戻します。 ・ドライバ状況（再起動直後） nVidia専用ドライバ Windows汎用ドライバ : ← いまここ ↓ 実行 : ドライバを元に戻す ・ドライバ状況（元に戻す適用後） nVidia専用ドライバ : ← もとに戻した Windows汎用ドライバ 人によっては、Windowsの汎用ドライバを削除したりと、やり方は色々あるようです。 こちらのサイト様の流れがわかりやすく、検証もわかりや
続きを読む

GTX560Ti がおかしい(code 43が出る)（2018年）→解決しました（2019）

-
★後日解決しました リンク → windows10 で nvidia のグラボのcode43現象を解決した ■こんな事が起きたよ どうやら最近（2018年春～）、グラフィックボード GTX560Ti の nVidia 公式ドライバが機能していない様子。 先日HDDが異音と共に開始しない状況になり、 ついでにOSのお掃除的にwindowsをクリーンインストールで入れ直したところ、 画面がおかしな状況となりまして。 ■自分のグラボ情報 メーカー : msi 名称 : N560GTX-TI TWIN FROZR Ⅱ/OC 発売日：2011年 1月28日 url : MSI公式 : N560GTXTi_Twin_Frozr_IIOC ■状況 *画面コピー等を取得しなかったので、ちょっとうろ覚えです。 ディスプレイ設定画面 : 汎用非 PnPモニターとなる。（普通にモニターはある状況なのに） モニター : 解像度が低下する & 選択肢に適切な解像度が出てこない。 マルチディスプレイ : 認識されない。 デバイスマネージャー -> ディスプレイアダプタ : 黄色のワーニング状況になっている。 詳細を確認するとコード43となっている。 ドライバ : 最新状況で、診断しても「最新です」となる。 他 : NVIDIA コントロールパネル などがない or 選んでもエラーとなる。 ■結果と解消方法 自分環境ではとりあえず、2017年12月にリリースされたものをドライバ適用すると解消する。 下記表参照。 現時点で、2018年以降のnVidiaの公式ドライバは全滅の様子。 将来的にちゃんと動くようになるのか、もうずっと2017年のドライバで行くのかは現時点で不明。 windows7と10でそれぞれ試したので、OSの差異ではなく、ドライバの差と考えている。 ■いちおう適応して確認した一覧 nVidia公式ドライバ置き場より OK/NG ドライバ名 バージョン リリース日 NG GeForce Game Ready Driver WHQL 391.35 27.3.2018 NG GeForce Game R
続きを読む

Java : processbuilder 標準出力 タイムアウト

-
（ 1つ前の投稿 から続けて） Java(1.8)で外部シェルを実行するというお話、その2。 いったん作成したが、「タイムアウトとかほしいよね」とのことでタイムアウト判定を入れることになった。 単純にタイムアウトだけであれば タイムアウト付きwaitFor() が使えたと思う。 ただ、この関数は標準出力バッファが詰まった時点で、エラー扱いで処理が戻ってきた。 理想のタイムアウトの挙動は以下であった。 タイムアウトになるまではずーっと標準出力を受け取っていてほしい。 タイムアウト時点で、そこまでの標準出力を全部受け取っていて、最後に「と、ここまでやったけど、ここでタイムアウトしました」ぐらいの結果返却。 というわけで、前回の「標準出力バッファを吸い出しながら処理するコード」を元にして、タイムアウト処理を追加する形で実装。 コードは以下。 ちなみに、タイマーに内部クラスを使用しているのは好みです。 当然、System.currentTimeMillis() と if文でも同様のことが出来ますし、ここでは一つの例ということで。 // cmd[] は とりあえずこんな → [0]:ユーザー用コマンド名称、[1]:処理開始日時、[2]:外部実行のシェル名、[3]～ : 引数情報（可変長） private List&ltString&gt cmdExecute(String[] cmd) throws Exception { // タイムアウト用タイマー : 内部クラス class CmdTimer extends TimerTask { private boolean isTimeout = false; private Process p = null; public CmdTimer( Process p ) { this.p = p; } public boolean getIsTimeOut() { return this.isTimeout; } @Override public void run() { this.isTimeout = true; try {
続きを読む