xizixuejie/canal-spring

便于使用的canal-spring-boot-starter客户端

Hi there 👋

canal-spring's Issues

两个数据库之间字段不同如何配置映射? 能支持在类里面通过注解映射吗?

请问

实体类字段属性转换异常

如果实体类中的属性没有在 io.xzxj.canal.core.util.StringConvertUtil#convertType 方法中定义，会抛出异常

实体类属性

@Data
@TableName("t_test")
public class TestEntity {

    private Long id;

    private String name;

    @TableField("f_age")
    private Integer age;

    @TableField("f_gender")
    private Integer gender;

    private byte[] annex;

}

异常信息

java.lang.RuntimeException: parse event has an error , data:[{f_gender=3, name=3, id=47, f_age=3, annex=ab}]
	at io.xzxj.canal.core.handler.AbstractFlatMessageHandler.handleMessage(AbstractFlatMessageHandler.java:60) ~[classes/:na]
	at io.xzxj.canal.core.handler.impl.AsyncFlatMessageHandlerImpl.lambda$handleMessage$0(AsyncFlatMessageHandlerImpl.java:30) ~[classes/:na]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[na:1.8.0_341]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[na:1.8.0_341]
	at java.lang.Thread.run(Thread.java:750) ~[na:1.8.0_341]
Caused by: java.lang.IllegalArgumentException: Can not set [B field io.xzxj.canal.example.entity.TestEntity.annex to null value
	at sun.reflect.UnsafeFieldAccessorImpl.throwSetIllegalArgumentException(UnsafeFieldAccessorImpl.java:167) ~[na:1.8.0_341]
	at sun.reflect.UnsafeFieldAccessorImpl.throwSetIllegalArgumentException(UnsafeFieldAccessorImpl.java:171) ~[na:1.8.0_341]
	at sun.reflect.UnsafeObjectFieldAccessorImpl.set(UnsafeObjectFieldAccessorImpl.java:81) ~[na:1.8.0_341]
	at java.lang.reflect.Field.set(Field.java:764) ~[na:1.8.0_341]
	at io.xzxj.canal.core.util.TableFieldUtil.setFieldValue(TableFieldUtil.java:98) ~[classes/:na]
	at io.xzxj.canal.core.factory.MapConvertFactory.newInstance(MapConvertFactory.java:26) ~[classes/:na]
	at io.xzxj.canal.core.factory.MapConvertFactory.newInstance(MapConvertFactory.java:13) ~[classes/:na]
	at io.xzxj.canal.core.factory.AbstractConvertFactory.newInstance(AbstractConvertFactory.java:22) ~[classes/:na]
	at io.xzxj.canal.core.handler.impl.MapRowDataHandlerImpl.handleRowData(MapRowDataHandlerImpl.java:40) ~[classes/:na]
	at io.xzxj.canal.core.handler.impl.MapRowDataHandlerImpl.handleRowData(MapRowDataHandlerImpl.java:17) ~[classes/:na]
	at io.xzxj.canal.core.handler.AbstractFlatMessageHandler.handleMessage(AbstractFlatMessageHandler.java:58) ~[classes/:na]
	... 4 common frames omitted

kafka 模式，控制台报canal 消费异常

使用kafka 模式控制台报错canal 消费异常 回滚消息
2023-11-07 18:06:27.474 ERROR 33704 --- [l-client-thread] i.x.canal.core.client.KafkaCanalClient : canal 消费异常 回滚消息

com.alibaba.fastjson2.JSONException: error, offset 1, char �
at com.alibaba.fastjson2.JSONReaderUTF16.skipValue(JSONReaderUTF16.java:1585) ~[fastjson2-2.0.4.jar:na]
at com.alibaba.fastjson2.reader.ObjectReaderBean.processExtra(ObjectReaderBean.java:49) ~[fastjson2-2.0.4.jar:na]
at com.alibaba.fastjson2.reader.ObjectReaderBean.readObject(ObjectReaderBean.java:167) ~[fastjson2-2.0.4.jar:na]
at com.alibaba.fastjson2.JSON.parseObject(JSON.java:258) ~[fastjson2-2.0.4.jar:na]
at com.alibaba.otter.canal.client.kafka.KafkaCanalConnector.getFlatListWithoutAck(KafkaCanalConnector.java:233) ~[canal.client-1.1.6.jar:na]
at io.xzxj.canal.core.client.KafkaCanalClient.handleListening(KafkaCanalClient.java:31) ~[canal-client-core-0.0.7.jar:na]
at java.lang.Thread.run(Thread.java:750) ~[na:1.8.0_382]

打断点跟踪了一下，是在 getFlatListWithoutAck 这个方法里的 JSON.parseObject 报错，
我看 传给JSON.parseObject 好像是乱码

canal.async=false时，IMessageHandler不会注入到容器

@CanalListener注解没有提示

加上@CanalListener注解后，虽然扫描进了容器，但是idea没有提示。

如果用在EntryListener实现类中使用@Autowired注入其他类会提示错误。

消费异常怎么搞

消费异常怎么搞

如何开启日志

如何开启日志呢？还有就是一定要配MQ吗
没配MQ没有任何日志，也没有任何效果
都是照着文档来的

6

6

增加List字段转换

对某些表中为list集合的字段增加转换

在StringConvertUtil中增加一个判断即可

else if (type.equals(List.class)) {
            return str2List(columnValue);
        }

转换就1行代码

private static List<String> str2List(String value) {
        return JSON.parseArray(value, String.class);
    }

当服务重启的过程中产生的数据 , 能否保证数据不丢失

能支持 active mq 吗

有对应的测试demo吗

求求求求求求求求求求求求求求求求求求求求求求求求求求

运行时间超过几个小时报错

当运行时间超过几个小时就会报这个错误

canal 1.1.7 正式发布了，可以更新依赖吗

大佬，我监听了多张表，建了多个Listener，但是目前好像只有一个Listener生效，求解大佬！

是这样的，现在canal是可以正常监听到多个表的变动，并且成功推送到了kafka里面。然后程序里定义的多个表的Listener，只有一个表的Listener可以正常接收到kafka的数据，在下甚是困惑，望大佬能答疑解惑！
Listener_1的配置:

@component
@CanalListener(schemaName = {"db_a" ,"db_b" ,"db_c"}, tableName = "base_special_topic")
public class CanalTopicListener implements EntryListener {
增删改查的方法......
}

Listener_2的配置:

@component
@CanalListener(schemaName = {"db_a" ,"db_b" ,"db_c"}, tableName = "base_subject")
public class CanalSubjectListener implements EntryListener {
增删改查的方法...
}

Listener_3的配置:

@component
@CanalListener(schemaName = {"db_a" ,"db_b" ,"db_c"}, tableName = "base_event")
public class CanalEventListener implements EntryListener {
增删改查的方法...
}