huwenxianglyy/bert-use-demo

the demo for bert

bert模型demo 使用bert做分类任务 需要下载**BERT-Base, Chinese**模型，放在根目录下

bert-use-demo's Issues

大佬 想问下您项目是如何设置训练集、验证集、测试集的？

如果可以，希望加下您联系方式，交流一下
qq：931626406

。

label是什么意思？

num_labels=20，实际上只有0,1,2,3 他们分别代表什么

per_example_loss = -tf.reduce_sum(one_hot_labels * log_probs, axis=-1) 可否解释一下

你好楼主，在demo.py中，lost函数有一段代码：
# probabilities = tf.nn.softmax(logits, axis=-1)
log_probs = tf.nn.log_softmax(logits, axis=-1)
one_hot_labels = tf.one_hot(input_labels, depth=num_labels, dtype=tf.float32)
per_example_loss = -tf.reduce_sum(one_hot_labels * log_probs, axis=-1)
loss = tf.reduce_mean(per_example_loss)

predictions = tf.reshape(tf.argmax(logits, axis=-1, output_type=tf.int32),shape=[-1,1],name="predictions")
acc = tf.reduce_mean(tf.cast(tf.equal(input_labels, predictions), "float"),
                     name="accuracy")

跟踪代码：
log_probs 的shape=（20,20） 第一个20表示batch，第二个20表示标签
one_hot_labels 的shape=(20, 1 , 20) 第一个20表示batch，第2个20表示标签，这个1不太清楚？
one_hot_labels * log_probs 的shape=(20, 20 , 20)
per_example_loss 为什么这么计算？
希望楼主能回答，万分感谢！

楼主，怎样在训练几轮后不让bert模型部分不参与参数更新呢？

请问一下相关的环境配置是什么样的

请问一下，您这边使用的tensorflow的版本是什么样的，以及其他相关包的版本是什么样的，可以简单说明一下吗，谢谢

大佬，你可以加你微信请教你问题吗

为什么先用不更新bert参数，持久化后，再想更新就报错了

tensorflow.python.framework.errors_impl.NotFoundError: Restoring from checkpoint failed. This is most likely due to a Variable name or other graph key that is missing from the checkpoint. Please ensure that you have not altered the graph expected based on the checkpoint. Original error:

Key bert/embeddings/LayerNorm/beta/adam_m not found in checkpoint
[[node save/RestoreV2 (defined at C:\ProgramData\Anaconda3\lib\site-packages\tensorflow_core\python\framework\ops.py:1748) ]]

predict = tf.argmax(tf.nn.softmax(logits), axis=1, name="predictions") 这里axis